Accueil Transformation numérique et photo Un algorithme permet de changer l'éclairage des photos et des vidéos

Un algorithme permet de changer l’éclairage des photos et des vidéos

© Inria

Des chercheurs du centre de recherche Inria Sophia Antipolis – Méditerranée, en collaboration avec Adobe et UC Berkeley, ont développé un algorithme qui permet de changer l’éclairage des photos et des vidéos artificiellement.

Grâce à l’apprentissage automatique (machine learning en anglais), les chercheurs ont développé une méthode qui permet de modifier les conditions d’éclairage d’une photo ou même d’une vidéo en quelques clics. Cette manipulation est rendue possible par l’utilisation d’un réseau de neurones entraîné sur des images de synthèse mais utilisable sur de vraies photos. Il devient donc possible de prendre une photo à midi et de la modifier automatiquement pour qu’elle semble avoir été prise au coucher du soleil.

Les premiers résultats de cette nouvelle méthode ont été présentés à la conférence SIGGRAPH de Los Angeles. SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) est une conférence internationale majeure sur l’infographie : elle regroupe chaque année depuis 1974 un grand nombre d’acteurs industriels, artistiques et scientifiques de l’univers de l’image de synthèse, qu’il s’agisse de films d’animation, de création d’effets spéciaux, de jeux vidéo ou de logiciels permettant la modélisation 3D.

Pour Julien Philip de l’équipe GraphDeco d’Inria, cette méthode expérimentale, permet déjà d’obtenir des résultats impressionnants de réalisme. « Souvent les réseaux de neurones ne peuvent que traiter de petites images dont la qualité n’est pas suffisante pour la photo ou se concentrent sur des tâches plus bas niveau comme le débruitage. Ici le contrôle de l’éclairage est redonné aux utilisateurs, ce sont eux qui décident si la photo finale semblera être prise le matin, à midi ou le soir. En fait, les utilisateurs peuvent laisser s’exprimer toute leur créativité et imaginer des éclairages totalement irréalistes. »

Une seule photo n’est pas suffisante pour obtenir un résultat convaincant. Il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos sur place, ou même en les récupérant automatiquement sur Internet.

changer l'éclairage des photosFigure 1: Une photo de Manarola prise en milieu de journée. © Inria

changer l'éclairage des photosFigure 2: La même image éditée grâce à la méthode développée chez
Inria. © Inria

L’algorithme peut générer un effet « time-lapse » de manière artificielle

Une seule photo n’est suffisante pour obtenir un résultat convaincant, il faut utiliser d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos en se déplaçant, ou même en utilisant d’autres photos du même lieu récupérées automatiquement sur Internet.

L’algorithme peut alors être utilisé pour générer un effet « time-lapse ». La méthode peut également être adaptée aux pipelines multivues traditionnels tels que le « rendu à base d’images (IBR) » ou la photogrammétrie notamment utilisée dans le milieu des effets spéciaux, ce qui ouvre la voie à des applications industrielles dans l’avenir.

changer l'éclairage des photosFigure 3: Une photo de l’Abbaye de Saint-Guilhem-Le-Désert – Crédit photo Julien Philip

Produire une modification réaliste des ombres portées est un défi majeur lorsque l’on cherche à réaliser un changement d’éclairage. Les chercheurs guident leur algorithme en utilisant la 3D et en appliquant des méthodes utilisées dans les jeux vidéo pour le calcul des ombres. Le principal défi est d’obtenir une bonne vue 3D, c’est là qu’intervient le réseau de neurones qui va apprendre à changer l’éclairage de manière réaliste malgré un rendu 3D parcellaire.

Pour plus de détails, consultez le lien.

Avatar
Antony Barroux
Depuis juillet 2006, Pixfan.com traite de l’actualité de la photographie : expositions, astuces et découvertes de photographes connus ou en devenir.

LAISSER UN COMMENTAIRE

Merci d'entrer votre commentaire
Merci d'indiquer votre nom

Les plus lus

Dialogue photographique avec Alexandra David Néel

Alexandra David Néel (1868-1969) est considérée comme l'une des plus grandes exploratrices du XXe siècle.La 6ème édition des rencontres "Automne Photographique en Champsaur" se...

Comment partager vos 9 meilleures photos Instagram ?

Si vous ne l'avez pas encore fait, il est encore temps de partager vos 9 meilleures photos Instagram de 2018. Je vous explique comment...

Comment Connaître le Nombre de Déclenchements d’un Reflex Canon ?

Comment Connaître le Nombre de Déclenchements d'un Reflex Canon ? Contrairement aux reflex Nikon et Pentax, Canon ne fournit par d'information sur le nombre de...

Google supprime le bouton « Voir l’image » des résultats de recherche

Google supprime le bouton "Voir l'image" des résultats de recherche afin de rendre les photos plus difficiles à voler. Une bonne nouvelle pour tous...