Digitale Affen mit menschlicher Gestik und Mimik: Motion Capture macht’s möglich
- Als Performance Capture bzw. Motion Capture (MoCap) wird die digitale Aufzeichnung der Gestik und Mimik eines Schauspielers bezeichnet, der einen speziellen, mit Markern versehenen Anzug trägt
- Mit der Arbeit an Blockbuster-Filmreihen wie „Der Herr der Ringe“, „Planet der Affen“ und „Avatar“ hat das auf visuelle Effekte (VFX) spezialisierte Unternehmen Wētā FX die Entwicklung der Performance-Capture-Technologie federführend geprägt und ist heute in der Lage, unter komplexen Umgebungsbedingungen hochgradig realistische Live-Action-Szenen zu kreieren
- Performance-Capture zählt zu den datenintensivsten Bereichen der modernen VFX-Produktion und bietet sich zur Optimierung mithilfe maschineller Lernalgorithmen geradezu an, um die anspruchsvollen Erwartungen heutiger Filmregisseure und Kinobesucher zu erfüllen
Die Figur des Gollum aus „Der Herr der Ringe: Die zwei Türme“ (2002) ist eine komplett digitale Kreation, deren Bewegungsabläufe auf einem menschlichen Vorbild basieren: dem britischen Schauspieler Andy Serkis, der eigentlich als Stimme von Gollum engagiert wurde – bis Regisseur Peter Jackson auf die Idee kam, auch seine Bewegungen auf die Leinwand zu übertragen. Dieses Verfahren, das als Motion Capture (MoCap) bzw. Performance Capture bezeichnet wird, ist keine Erfindung von Jackson, sondern kam in einer früheren Variante – damals als Rotoscoping bekannt – bereits 1937 bei Disneys „Schneewittchen“-Verfilmung zum Einsatz.
In beiden Fällen dienten Filmaufnahmen der Bewegungsabläufe menschlicher Schauspieler als Vorlage für die Live-Action-Szenen. Mit der „Herr der Ringe“-Trilogie und „King Kong“ (2005) gelang es Jackson, ein bisher unerreichtes Niveau an Realismus und Detailtreue auf die Leinwand zu bringen. Nicht umsonst wurden alle vier Filme mit dem Oscar für Beste visuelle Effekte ausgezeichnet.
Auch die Hauptfiguren in der „Planet der Affen“-Filmreihe sind keine Menschen in Affenkostümen, sondern digitale Animationen nach der Vorlage menschlicher Darbietungen. Die wesentlichen Elemente der Performance-Capture-Technologie haben sich in den letzten zwei Jahrzehnten kaum verändert, verrät Erik Winquist, VFX-Supervisor bei Wētā FX – dem Unternehmen, das für die einschlägigen Szenen in Jacksons Filmen sowie in den Filmreihen „Avatar“ und „Planet der Affen“ verantwortlich zeichnete. „Das Prinzip ist immer noch das gleiche: Wir stellen menschliche Schauspieler auf eine Bühne, legen ihnen Marker an und zeichnen ihre Bewegungen auf“, so Winquist.
Dank Motion Capture: Die Affen werden immer lebensechter
VFX-Künstler wissen, dass ihre beste Arbeit unsichtbar ist. Das heutige Kinopublikum stellt hohe Ansprüche in puncto Realismus und nimmt Filme gnadenlos auseinander, wenn die visuellen Effekte nicht hundertzehnprozentig überzeugen. Der neue „Planet der Affen“-Film brilliert mit nahtlosen Interaktionen sprechender Affen mit Artgenossen, Requisiten und Live-Action-Figuren.
Eine der größten Herausforderungen, die Winquist und sein technisches Team bereits bei den Dreharbeiten für „Planet der Affen: Prevolution“ (2011) erfolgreich bewältigten, war der Einsatz der MoCap-Technologie für Außenaufnahmen. „Die Technologie basiert auf Infrarotstrahlen, und Sonnenlicht hat eine starke Infrarotkomponente“, erläutert er. „Im Freien hat man mit dem Infrarotlicht zu kämpfen, das überall reflektiert wird.“
Zur digitalen Erfassung menschlicher Bewegungen arbeiten MoCap-Teams mit „weißen Punkte in einem Meer von Schwarz“, wie Winquist sagt. Gemeint sind die Marker, die an den MoCap-Anzügen der Schauspieler angebracht werden. Beim Filmen in Innenräumen kann man mit künstlichem Licht ohne Infrarot arbeiten, sodass die Kamera die Referenzmarkierungen problemlos erfassen kann. Damit dieses Prinzip auch bei Außenaufnahmen funktioniert, mussten die Marker zunächst optimiert werden.
Bei den Markern der neuesten Generation handelt es sich um winzige LED-Lichtquellen, die synchron mit dem Kameraverschluss ausgelöst werden. Dadurch wird es möglich, sie zu isolieren und alle anderen Infrarotquellen herauszufiltern. Die Kameraleute können die Belichtungseinstellungen so anpassen, dass Infrarotstrahlen im Sonnenlicht gar nicht erfasst werden.
Aktive LED-Leuchten sind jedoch empfindlich und nicht unbedingt für unwirtliche Umgebungen geeignet. Für die Dreharbeiten zu „Planet der Affen: Revolution“ (2014) in den Wäldern von British Columbia wurden die Kabel zum Schutz vor Feuchtigkeit mit gummierten Litzen ummantelt. Für den nächsten Film der Reihe, „Planet der Affen: Survival“ (2017), mussten die Ummantelungen sogar noch raueren Umweltbedingungen wie Schnee und Wasser standhalten.
Bewegungserfassung in Stereo
Weitere Verbesserungen erzielte das Team von Wētā FX bei der präziseren Erfassung von Gesichtsausdrücken durch technische Weiterentwicklung der Gesichts-Rigs sowie den Einsatz einer zusätzlichen Kamera. Ähnlich wie 3D-Filme aufgrund kaum wahrnehmbarer Unterschiede zwischen zwei Bildern die Illusion von Tiefe suggerieren, entsteht durch die Erfassung aus zwei unterschiedlichen Winkeln ein sehr viel detailgenaueres 3D-Gitternetz des Gesichts des Schauspielers, als es mit nur einer Kamera möglich ist.
Dieser Durchbruch war von entscheidender Bedeutung bei den Dreharbeiten für „Planet der Affen: New Kingdom“, um der ausdrucksvollen und unverkennbaren Mimik der Primaten gerecht zu werden. „Wenn ein Schauspieler die Lippen spitzt oder schürzt oder erst recht diesen Brülllaut der Affen von sich gibt, lässt sich das mit nur einer Kamera kaum erfassen. Mit einem 3D-Gitternetz ist gleich viel mehr Präzision möglich“, berichtet Winquist. Dass es seinem Team gelungen ist, Affenfiguren zu erschaffen, die vollkommen lebensecht wirken, zeigt, wie weit die Technologie der Bewegungserfassung inzwischen fortgeschritten ist.
Die neue Technologie macht auch die manuelle 3D-Tiefenkomposition überflüssig. Dank der Stereo-Erfassung mit Gesichts-Rigs und regulären Kameras konnte Wētā FX ein 3D-Gitternetz von sämtlichen Objekten im Bild erstellen. Dadurch ließ sich das Match-Moving-Verfahren, bei dem ein animiertes 2D-Objekt in ein Live-Action-Bild gesetzt wird, erheblich verbessern. „Acht Hauptfiguren interagierten gleichzeitig mit echten Requisiten wie Waffen oder blätterten zum Beispiel Seiten in einem Buch um“, berichtet Winquist. „Diese Bewegungen aus dem Videomaterial beizubehalten, wobei die Schauspieler durch animierte Elemente ersetzt werden, ist viel einfacher, je präziser man ihre Position im 3D-Raum bestimmen kann.“
Die Schauspielleistung ist das A und O
Wie der Name schon sagt, steht und fällt der Erfolg des Performance-Capture-Prozesses immer noch mit der Qualität der Performance – also der Schauspielkunst des Menschen, der die Animationsfigur durch seine Gestik und Mimik mit Leben erfüllt. So war die kongeniale Umsetzung der Figur Gollum in „Die zwei Türme“ und „Die Rückkehr des Königs“ vor allem Serkis’ Darstellung eines launischen Querulanten geschuldet. Für „Planet der Affen: New Kingdom“ studierte der Hauptdarsteller Owen Teague die Bewegungen der Affen in einer Primatenauffangstation, um seinem Spiel Authentizität zu verleihen.
In Interviews zum geplanten neuen „Herr der Ringe“-Projekt „The Hunt for Gollum“ bekannte Serkis, dass er die Technologie sogar als befreiend empfinde: „Wir haben jetzt ein Niveau erreicht, bei dem man als Schauspieler mehr internalisieren kann und nicht mehr das Gefühl hat, Bewegungsabläufe übertreiben zu müssen.“
Winquist mahnt jedoch an, Filmemacher dürften sich von den neuen technischen Möglichkeiten nicht dazu verleiten lassen, die eigentlichen Nuancen der Regiekunst zu vernachlässigen. Für das „Affenhafte“ – sprich: für stimmige Proportionen und überzeugende Animation – sei das VFX-Team zuständig und könne „alle möglichen Nachbearbeitungen vornehmen, z. B. eine Figur größer machen oder besser in den Frame einpassen“. Die Aufgabe des Regisseurs sieht er hingegen darin, sich vor allem auf die Nuancen in der Mimik des Schauspielers zu konzentrieren und hier subtile Mikrokorrekturen vorzunehmen. „Ich würde mir Sorgen machen, dass die Ecken und Kanten abgeschliffen werden, die eine menschliche Darbietung erst zu dem machen, was sie ist. Wenn der Regisseur das nicht sehen kann, weil er auf seinem Tablet eine Annäherung mit einem in Echtzeit angewendeten, niedrig aufgelösten Proxy-Gesichts-Rig verfolgt, fehlen ihm die Informationen, die er braucht, um zu entscheiden, ob der 5. oder der 6. Take besser ist.“
Trotz aller technologischen Fortschritte stehe die schauspielerische Leistung – die Fähigkeit, komplexe Gefühlsregungen mit subtilen Augenbewegungen auszudrücken – weiterhin im Vordergrund, ist Winquist überzeugt.
Als weitere Komponente des Live-Action-Gesamtkunstwerks kommt die CGI-Nachbearbeitung in der Postproduction-Phase hinzu. „Es gibt Momente, in denen wir etwas hinzudichten müssen, das dem Regisseur am Drehtag aus irgendeinem Grund nicht in den Kasten bekommen hat“, berichtet Winquist. „Man sagt ja, der eigentliche Film entstehe erst im Schneideraum, und es kommt immer wieder vor, dass jemand meint: ‚Im Nachhinein hätten wir das anders drehen sollen – aber hey, Wētā FX, könnt ihr vielleicht helfen?’“
Auch hier ist die schauspielerische Darbietung wieder das A und O. „Unsere Animationskünstler sind wahnsinnig talentiert, aber in diesem Raum zwischen einem Regisseur und einem Schauspieler passiert etwas Einmaliges“, fährt er fort. „Das Experimentieren findet direkt vor Ort beim Dreh statt. Bei der Übergabe an das VFX-Team gibt es noch immer eine Verzögerung, selbst wenn es nur ein paar Stunden sind. Die Magie, die nur am Set entsteht, diese Spontaneität, ist dann weg.“
Aktuell geht es um mehr Effizienz
Aufgrund der langjährigen Erfahrung sei die Rendering-Pipeline des Unternehmens so gut etabliert und optimiert, dass sein Team Objekte so rendern könne, dass sie „absolut unbestreitbar real“ aussehen, meint Winquist. Zu den Meilensteinen der CGI in den 2000er Jahren gehörte die realitätsgetreue Nachbildung von Oberflächen wie Wasser, Feuer und Haaren. Aktuell steht für Winquist eher die Frage im Mittelpunkt, wie sich CGI und VFX effizienter produzieren lassen. „Im Grunde ist es nicht viel anders, als wenn man eine neue Festplatte bekommt und sie einfach immer weiter auffüllt“, erläutert er.
Performance-Capture zählt zu den datenintensivsten Bereichen der modernen VFX-Produktion und bietet sich zur Optimierung mithilfe maschineller Lernalgorithmen geradezu an. Insgesamt wurden für „Planet der Affen: New Kingdom“ über 1.500 VFX-Aufnahmen erstellt, von denen die meisten Performance-Capture-Daten enthielten. Es gibt im ganzen Film nur 38 Aufnahmen ganz ohne visuelle Effekte – 2002 musste Gollum sich in „Die zwei Türme“ mit Auftritten von insgesamt 17 Minuten begnügen.
Mithilfe maschineller Lernalgorithmen hat Wētā FX einen Facial Deep Learning Solver (FDLS) entwickelt, bei dem Algorithmus-gesteuerte Performance-Capture-Renderings durchgängig von Menschen überprüft werden können, wodurch der „Blackbox“-Effekt der meisten Tools für maschinelles Lernen vermieden wird. Nach der Freigabe der Aufnahmen können die Animationsfachkräfte die Ergebnisse direkt an Tools in einer Schnitt- oder Animationsanwendung übertragen. Wētā FX arbeitet mit Autodesk Maya als Plattform für einige proprietäre visuelle Effekte und Animationstools.
Wētā FX setzt maschinelles Lernen mit dem expliziten Ziel ein, mehr Freiraum für die Animationskünstler zu schaffen. „Wir wollten mit derselben Kerncrew arbeiten wie bei unseren bisherigen Projekten, aber durch die Darstellung gesprochener Dialoge auf den Gesichtern der Affen erhöhte sich der Aufwand erheblich“, so Winquist. Mithilfe des FDLS wurde für jede Filmfigur eine konsistente Baseline erstellt, die sich dann auf mehrere Aufnahmen anwenden ließ.
Je nach Filmhandlung und Produktionsstil können die konkreten Arbeitsabläufe ganz unterschiedlich aussehen. „Das Filmen von Motion-Capture-Szenen im großen Stil ist mit viel Aufwand verbunden – teilweise arbeitet man mit Crews von 40 oder mehr Leuten“, erläutert Winquist. „Wenn man nur eine einzige Figur hat, kann man das erheblich reduzieren und viel effizienter arbeiten. Wir überlegen also bei jedem Projekt sehr genau, welche Technologie für die jeweilige Produktion und das jeweilige Budget am besten geeignet ist.“
Er führt aus: „Wir bewerten die konkreten Anforderungen eines Projekts und planen entsprechend. Wir können ein komplettes Motion-Capture-System auf eine Tonbühne oder an einen Drehort bringen – oder wir kreuzen einfach mit ein paar Videokameras auf, versehen die Darsteller mit leicht unterschiedlichen Markern, rufen ‚Action' und machen alles andere später am Computer.“