Pouvons-nous réellement transformer les reflets dans nos yeux en scènes 3D discernables? Des chercheurs de l’Université de Maryland semblent nous dire que oui. Leur travail s’appuie sur les Neural Radiance Fields (NeRF), une technologie d’IA qui peut reconstituer des environnements à partir de photos 2D. Mais combien de temps faudra-t-il avant que cette approche de réflexion oculaire soit utilisée dans des applications pratiques?
L’équipe a utilisé des reflets subtils de la lumière capturés dans les yeux humains pour tenter de discerner l’environnement immédiat de la personne. Ils ont commencé avec plusieurs images haute résolution depuis une position fixe de la caméra, capturant un individu en mouvement regardant vers l’appareil. Ils ont ensuite zoomé sur les reflets, les isolant et calculant où les yeux regardaient sur les photos. Mais quels ont été les résultats?
« La technologie a encore du chemin à faire avant d’être utilisée dans le monde réel. »
Les résultats de leur travail montrent une reconstruction environnementale assez discernable à partir des yeux humains dans un cadre contrôlé. Cependant, en tentant de modéliser les reflets oculaires à partir de clips musicaux de Miley Cyrus et Lady Gaga, ils n’ont obtenu que des formes vagues, illustrant à quel point la technologie est encore loin d’être utilisable dans le monde réel. Quels obstacles l’équipe a-t-elle dû surmonter pour obtenir ces résultats?
Pour parvenir à reconstituer même des scènes brutes et floues, l’équipe a dû surmonter des obstacles significatifs. La cornée, par exemple, introduit un « bruit inhérent » qui rend difficile la séparation de la lumière réfléchie par rapport aux textures complexes de l’iris humain. Pour y remédier, ils ont introduit l’optimisation de la pose de la cornée et la décomposition de la texture de l’iris pendant l’entraînement. Une technique d’apprentissage automatique a ensuite permis d’isoler et d’améliorer davantage le paysage reflété. Quels sont les obstacles restants?
Malgré les progrès et les solutions astucieuses, des obstacles significatifs demeurent. L’équipe note que ses hypothèses universelles sur la texture de l’iris peuvent être trop simplistes pour s’appliquer largement, en particulier lorsque les yeux tournent généralement plus largement que dans ce type de réglage contrôlé. De plus, l’équipe admet que ses résultats actuels provenant de « conditions de laboratoire » risquent d’être insuffisants dans des conditions moins contraintes.
Néanmoins, l’équipe voit leurs progrès comme un jalon qui peut stimuler de futures avancées. Bien que des versions plus abouties de ce travail pourraient engendrer certains problèmes de confidentialité indésirables, l’équipe se réjouit que leur travail actuel puisse inspirer de futures explorations. Il faut maintenant se demander, à quelle vitesse cette technologie peut-elle évoluer et quels pourraient en être les impacts sur notre vie quotidienne?
Source : Engadget
