Pour ses effets visuels, Hollywood ne jure plus que par la motion capture

Dans Le Seigneur des anneaux : Les Deux Tours, le personnage de Gollum est une création entièrement numérique basée sur le jeu d’Andy Serkis. Au départ, l’acteur ne devait prêter à Gollum que sa voix ; mais en voyant son acteur à l’œuvre, le réalisateur Peter Jackson s’est dit que ses gestes rendraient parfaitement à l’écran. Ce procédé, appelé capture de mouvement (motion capture ou mocap) ou capture de jeu (performance capture), n’a pas été inventé par Peter Jackson. En effet, dès 1937, son ancêtre, la rotoscopie, avait largement été utilisée par Disney dans Blanche-Neige.

Dans Les Deux Tours comme dans Blanche-Neige, les séquences de jeu ont servi de références aux animateurs pour correspondre au timing et aux gestes d’Andy Serkis dans la prise de vues réelles. Il y a vingt ans, Peter Jackson a atteint un niveau inédit de réalisme et de détails dans sa trilogie du Seigneur des anneaux et dans King Kong, raflant pour ces quatre films l’Oscar des meilleurs effets visuels.

La technologie de capture de jeu n’a pas fondamentalement changé depuis, selon Erik Winquist, directeur des effets visuels chez Wētā FX, la société chargée de la capture de jeu dans ces films, ainsi que dans Avatar et La Planète des singes, entre autres. « Le principe reste le même, on engage un acteur talentueux, on lui place des marqueurs un peu partout, on le met dans un studio et on enregistre ce qu’il fait », résume-t-il.

Dans le domaine des effets visuels, le travail des artistes est réussi lorsque personne ne le remarque. La barre du réalisme est placée haut et le public peut se montrer intraitable si les effets visuels ne sont pas absolument irréprochables. Dans La Planète des Singes : Le Nouveau Royaume, sorti cette année, la capture de jeu est parfaitement intégrée : à l’écran, des singes parlent de façon réaliste, interagissent avec des accessoires, des personnages en live action et leurs congénères.

L’une des principales difficultés rencontrée par Erik Winquist et son équipe technique pour La Planète des singes : Les Origines (2011) a été de parvenir à utiliser la capture de mouvement en extérieur. « [Cette] technologie est basée sur l’infrarouge, or la lumière du soleil a une grosse composante infrarouge, explique-t-il. Dès qu’on va dehors, on se bat avec la lumière infrarouge qui est réfléchie partout. »

Pour réaliser une capture détaillée, l’équipe « mocap » a besoin de ce qu’Erik Winquist décrit comme des « points blancs dans un océan de noir », c’est-à-dire les marqueurs fixés sur les combinaisons spéciales portées par les acteurs. En intérieur, il est possible d’utiliser une lumière artificielle sans infrarouge pour que la caméra capte facilement les marqueurs. Réussir la capture de jeu en extérieur a demandé une optimisation des marqueurs.

Les marqueurs dernière génération sont de minuscules sources de lumière LED qui s’allument de façon synchronisée avec l’obturateur de la caméra. Ceci permet de les isoler et de filtrer toute autre source d’infrarouge. Derrière la caméra, on peut ajuster les paramètres d’exposition afin d’éliminer l’infrarouge de la lumière du soleil.

Cependant, les LED actives peuvent être fragiles. Pour La Planète des Singes : L’Affrontement (2014), Wētā FX a gainé les câbles de caoutchouc pour pouvoir les utiliser dans les forêts humides de Vancouver, au Canada. En 2017, pour La Planète des singes : Suprématie, ces gaines ont permis à Wētā FX de réaliser des captures de jeu dans des environnements plus hostiles encore, comme la neige et l’eau.

Wētā FX a également optimisé la capture de mouvement en développant la technologie du rigging du visage afin de capter plus de détails et en utilisant deux caméras. De la même manière que les films en 3D donnent une illusion de profondeur grâce à des différences quasi imperceptibles entre deux images, l’utilisation de deux caméras apporte aux animateurs un maillage 3D plus précis du visage d’un acteur, avec un niveau de détail bien supérieur à celui qu’ils obtiendraient avec une seule caméra.

Cette avancée a été capitale pour La Planète des singes : Le Nouveau Royaume, car les primates ont des mimiques très particulières. « Quand un acteur bouge ses lèvres vers l’avant ou l’arrière, surtout pour mimer les cris d’un singe, une seule caméra peut montrer ses limites et il y a beaucoup d’aléas. Un maillage 3D nous offre bien plus de précision », précise Erik Winquist. Le fait de parvenir à animer ce type de mouvements, à créer des personnages simiesques qui vivent, respirent et parlent de façon réaliste montre les progrès réalisés en matière de capture de mouvement.

La nouvelle technologie évite également de fusionner (compositing) manuellement la profondeur 3D. Grâce à la capture stéréo des rigs faciaux et aux caméras classiques, Wētā FX a pu créer un maillage 3D de n’importe quel élément du décor et pas seulement des acteurs. Cela a nettement amélioré le processus de match moving, qui consiste à intégrer un objet animé 2D à une image en prise de vues réelles (live action). « Huit personnages disposaient de vrais accessoires, comme une arme ou un livre à feuilleter, détaille Erik Winquist. Garder ces mouvements de la séquence principale, mais remplacer le personnage qui interagit par un élément animé devient plus facile quand on sait avec précision où il va se situer dans l’espace 3D. »

L’élément clé du processus de capture du jeu reste précisément le jeu de l’acteur, c’est-à-dire sa façon de se déplacer et d’incarner un personnage. Si celui de Gollum fonctionne aussi bien dans Les Deux Tours et Le Retour du roi, c’est surtout en raison de la personnalité nerveuse et irritable qu’a imaginée Andy Serkis. Pour les besoins du Nouveau Royaume, l’acteur Owen Teague a étudié les mouvements des singes dans un sanctuaire de primates pour apporter de l’authenticité à son jeu.

Quand Andy Serkis a annoncé aux médias son prochain Seigneur des anneaux, intitulé The Hunt for Gollum, il a confié que la technologie était pour lui libératrice. « Elle a atteint un niveau où l‘auteur du jeu permet de l’intérioriser davantage sans avoir besoin de surjouer, a-t-il expliqué. On est clairement à un niveau de détail bien plus avancé aujourd’hui. »

Cependant, à ses yeux, le fait qu’un réalisateur puisse regarder aujourd’hui une scène sur une tablette pendant qu’elle est jouée, le rig étant appliqué aux données de capture du jeu en temps réel, peut aussi représenter un risque. « Un réalisateur n’a pas besoin de se concentrer sur l’aspect simiesque, car la post-production permet toutes sortes d’ajustements, comme rendre un personnage plus grand ou mieux le placer dans l’image. En revanche, il doit vraiment se concentrer sur les nuances exprimées par le visage de l’acteur, ses micro-ajustements les plus subtils. J’aurais peur de lisser toutes les aspérités qui font du jeu d’un acteur ce qu’il est. Quand un réalisateur a le nez dans sa tablette à regarder une approximation à laquelle un rig facial basse résolution est appliqué en temps réel, il ne voit pas ces nuances. Il n’a donc pas les informations nécessaires pour décider si c’est la cinquième ou la sixième prise qui est la bonne. »

Pour Erik Winquist, quels que soient les progrès de la technologie, le réalisateur et les animateurs doivent réellement voir ce que l’acteur donne, car de subtils mouvements oculaires de quelques pixels seulement suffisent à exprimer des sentiments complexes.

Il existe un équilibre où coexistent la capture de jeu sur le plateau et l’augmentation CGI en postproduction. « À certains moments, on doit inventer quelque chose que le réalisateur n’a pas obtenu le jour du tournage pour une raison quelconque, poursuit Erik Winquist. On dit que le film se fait vraiment en salle de montage et souvent, on entend : ´Si nous avions su ce que nous savons maintenant, nous aurions tourné cette scène autrement. Au fait, Wētā FX, vous pouvez nous aider ?´ ». 

Encore une fois, tout revient au jeu de l’acteur. « Nos animateurs ont un talent fou, mais entre un réalisateur et un acteur, il se passe quelque chose, souligne-t-il. C’est dans cet espace-là, à ce moment-là, qu’il y a expérimentation. Si on la passe aux effets visuels, il y a toujours un décalage avant de livrer la nouvelle version, même de deux heures. Entre-temps, on a perdu cette magie unique du plateau, cette spontanéité. »

Après de nombreuses années dans ce domaine, Erik Winquist affirme que le pipeline 3D de sa société est si bien établi et optimisé que son équipe est capable de produire des rendus « absolument réels, incontestablement réels ». Durant les années 2000, les images de synthèse ont enfin « conquis » des surfaces comme l’eau, le feu et les cheveux. Aujourd’hui, la question est de savoir comment produire plus efficacement les images de synthèse (CGI) et les effets visuels numériques (VFX). « C’est un peu comme quand on a un nouveau disque dur et qu’on continue à le remplir », explique-t-il.

La capture de jeu est l’un des domaines les plus avides en données dans les effets visuels, ce qui en fait un candidat naturel à l’apprentissage automatique. La Planète des singes : Le Nouveau Royaume comptait plus de 1 500 plans VFX, la plupart contenant des données de capture de jeu. Seuls 38 plans sont dépourvus d’effets visuels. On est loin de 2002, où Gollum avait 17 minutes de temps à l’écran dans Les Deux Tours.

À l’aide de l’apprentissage automatique, Wētā FX a développé un optimiseur facial d’apprentissage profond (FDLS), où les rendus de capture de jeu contrôlés par algorithmes sont vérifiables par l’œil humain tout au long du processus,loin du fonctionnement opaque de la plupart des outils d’apprentissage automatique. Une fois les plans approuvés, l’optimiseur permet aux animateurs d’envoyer les résultats directement aux outils via une application de montage ou d’animation. Wētā FX utilise le logiciel Autodesk Maya comme plateforme pour héberger certains de ses effets visuels et outils d’animation propres.

Pour Wētā FX, les avancées en matière d’apprentissage automatique doivent apporter aux artistes encore plus de liberté. « Nous voulions faire appel à la même équipe qu’avant, mais créer des dialogues parlés sur des visages de singes représentait bien plus de travail pour eux », résume Erik Winquist. Le FDLS a aidé les animateurs du Nouveau Royaume à créer une base homogène pour chaque personnage, applicable ensuite à de multiples plans.

En matière de capture de jeu, tout dépend de la nature de l’histoire et du style de production. « Quand un des personnages apparaît dans plusieurs dizaines de plans, l’approche change parce que la capture de mouvement a une très large empreinte et tout à coup, on se retrouve avec une équipe de tournage de 40 personnes à emmener partout, explique Erik Winquist. Avec un seul personnage, notre empreinte est bien plus réduite sur le tournage, alors qu’on est beaucoup plus efficace. Ainsi, pour chaque projet, on cherche surtout à définir quelle est la technologie la mieux adaptée à la production et au budget. »

« On évalue les besoins de chaque projet et en fonction, on établit un plan, conclut-il. On peut partir sur un système de capture complet en studio ou en extérieur, ou on peut juste arriver avec deux caméras, mettre des marqueurs légèrement différents sur les acteurs, dire ´Action´ et faire le tri plus tard. »