Est-ce que Netflix a peut-être apporté une révolution dans le monde du cinéma ?
La pratique de la composition, laquelle consiste à placer des acteurs devant un arrière-plan imaginaire, est antérieure au cinéma lui-même. Cependant, cela a toujours été une épine dans le pied des réalisateurs. Netflix a présenté une nouvelle technique reposant sur l’apprentissage automatique pour résoudre ce problème tenace, même si cela nécessite d’éclairer les acteurs avec un ton magenta criard.
Depuis des décennies, la méthode la plus simple de composition était le chroma keying. Ici, les acteurs se tiennent devant un arrière-plan de couleur vive (bleu à l’origine, vert par la suite), facile à identifier et à remplacer par n’importe quoi, d’une carte météo à un combat avec Thanos. Cela dit, il existe des inconvénients à cette méthode, tels que les problèmes avec les objets transparents, les détails fins comme les cheveux et bien sûr, tout autre élément ayant une couleur similaire à celle de l’arrière-plan. Alors, comment Netflix compte-t-elle résoudre ces problèmes ?
Netflix ambitionne de révolutionner le cinéma
Les chercheurs de Netflix tentent de résoudre ce problème avec une combinaison d’ancien et de nouveau. Ils visent à simplifier la composition, tout en créant une qualité d’image impeccable, et ce, au coût d’un éclairage d’ensemble infernal sur le plateau. Leur technique, appelée « Magenta Green Screen », produit des résultats impressionnants en placant les acteurs entre de vives lumières vertes à l’arrière et un mélange de rouge/bleu à l’avant, générant ainsi un contraste de couleurs dramatique.
Le but de cette stratégie est d’isoler le premier plan (rouge/bleu) et l’arrière-plan (vert) pour faciliter leur séparation. L’appareil photo capture alors le rouge, le bleu et l’alpha. Les effets produits sont d’une précision remarquable et ne présentent pas les artefacts qui apparaissent souvent lorsque l’on doit séparer une entrée à spectre complet d’un fond de couleur clé à spectre limité. Et il va sans dire que le processus de composition est désormais plus simple, n’est-ce pas ?
Le défi réside cependant dans la restauration de la chaîne verte pour les sujets éclairés en magenta. Cela doit se faire de manière systématique et adaptative, en fonction des sujets et des compositions, car une approche « naïve » linéaire pour injecter du vert risque de donner un aspect jaunâtre et délavé. Comment le processus peut-il être automatisé ? C’est là que l’apprentissage automatique entre en jeu.
L’équipe de Netflix a entraîné un modèle de machine learning sur leurs propres données d’apprentissage, soit des essais de scènes similaires, mais éclairées normalement. Le réseau de neurones convolutionnels est fourni avec des échantillons de l’image à spectre complet à comparer avec ceux éclairés en magenta, et développe un procédé pour restaurer rapidement les chaînes vertes manquantes de manière plus intelligente qu’un simple algorithme.
On se retrouve donc avec des couleurs étonnamment bien restaurées en post-production (elles sont presque « indiscernables » d’une vérité terrain capturée en caméra), mais il demeure le problème des acteurs et du plateau qui doivent être éclairés de cette manière désagréable. Pouvez-vous imaginer la difficulté de travailler devant un écran vert, tout en étant éclairé par une lumière dure et inhumaine ?
Il est important de noter cependant que cette technique en est encore à un stade très expérimental. Cela dit, c’est une approche de haute technologie intéressante pour résoudre un problème ancestral dans la production de médias. Ainsi, si Netflix réussit à généraliser l’utilisation de cette technique, y parviendra-t-elle à réinventer la manière de filmer des scènes cinématographiques ?
Source : Techcrunch
