AccueilActualité PhotoTransformation numérique et photoUn algorithme permet de changer l'éclairage des photos et des vidéos

Un algorithme permet de changer l’éclairage des photos et des vidéos

© Inria

Des chercheurs du centre de recherche Inria Sophia Antipolis – Méditerranée, en collaboration avec Adobe et UC Berkeley, ont développé un algorithme qui permet de changer l’éclairage des photos et des vidéos artificiellement.

Grâce à l’apprentissage automatique (machine learning en anglais), les chercheurs ont développé une méthode qui permet de modifier les conditions d’éclairage d’une photo ou même d’une vidéo en quelques clics. Cette manipulation est rendue possible par l’utilisation d’un réseau de neurones entraîné sur des images de synthèse mais utilisable sur de vraies photos. Il devient donc possible de prendre une photo à midi et de la modifier automatiquement pour qu’elle semble avoir été prise au coucher du soleil.

Les premiers résultats de cette nouvelle méthode ont été présentés à la conférence SIGGRAPH de Los Angeles. SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) est une conférence internationale majeure sur l’infographie : elle regroupe chaque année depuis 1974 un grand nombre d’acteurs industriels, artistiques et scientifiques de l’univers de l’image de synthèse, qu’il s’agisse de films d’animation, de création d’effets spéciaux, de jeux vidéo ou de logiciels permettant la modélisation 3D.

Pour Julien Philip de l’équipe GraphDeco d’Inria, cette méthode expérimentale, permet déjà d’obtenir des résultats impressionnants de réalisme. « Souvent les réseaux de neurones ne peuvent que traiter de petites images dont la qualité n’est pas suffisante pour la photo ou se concentrent sur des tâches plus bas niveau comme le débruitage. Ici le contrôle de l’éclairage est redonné aux utilisateurs, ce sont eux qui décident si la photo finale semblera être prise le matin, à midi ou le soir. En fait, les utilisateurs peuvent laisser s’exprimer toute leur créativité et imaginer des éclairages totalement irréalistes. »

Une seule photo n’est pas suffisante pour obtenir un résultat convaincant. Il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos sur place, ou même en les récupérant automatiquement sur Internet.

changer l'éclairage des photos

Figure 1: Une photo de Manarola prise en milieu de journée. © Inria

changer l'éclairage des photos

Figure 2: La même image éditée grâce à la méthode développée chez
Inria. © Inria

Changer l’éclairage des photos, l’algorithme peut générer un effet « time-lapse » de manière artificielle

Une seule photo n’est suffisante pour obtenir un résultat convaincant, il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos en se déplaçant, ou même en utilisant d’autres photos du même lieu récupérées automatiquement sur Internet.

L’algorithme peut alors être utilisé pour générer un effet « time-lapse ». La méthode peut également être adaptée aux pipelines multivues traditionnels tels que le « rendu à base d’images (IBR) » ou la photogrammétrie notamment utilisée dans le milieu des effets spéciaux, ce qui ouvre la voie à des applications industrielles dans l’avenir.

changer l'éclairage des photos
Changer l’éclairage des photos

Figure 3: Une photo de l’Abbaye de Saint-Guilhem-Le-Désert – Crédit photo Julien Philip

Produire une modification réaliste des ombres portées est un défi majeur lorsque l’on cherche à réaliser un changement d’éclairage. Les chercheurs guident leur algorithme en utilisant la 3D et en appliquant des méthodes utilisées dans les jeux vidéo pour le calcul des ombres. Le principal défi est d’obtenir une bonne vue 3D, c’est là qu’intervient le réseau de neurones qui va apprendre à changer l’éclairage de manière réaliste malgré un rendu 3D parcellaire.

Changer l’éclairage des photos, pour plus de détails consultez le lien.

Antony Barroux
Antony Barroux
Note éditoriale : Nous percevons une commission sur les liens partenaires présents sur Pixfan. Les commissions n'affectent pas les opinions ou les évaluations de nos rédacteurs. Si vous souhaitez nous aider, pensez à utiliser nos liens partenaires. Code créateur : PIXFAN

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici