Virtuelle Produktion in Hollywood: Vom Filmtrick zum strategischen Produktionswerkzeug

Die virtuelle Produktion bietet einen völlig neuen Ansatz, um kreative Inhalte für die Medien- und Unterhaltungsbranche mithilfe von Spiel-Engines, Soundstages, LED-Bildschirmen und digitalen Daten zu produzieren.

Der Film „Avatar“ aus dem Jahr 2009 war das bekannteste frühe Beispiel dafür. Danach setzte sich die virtuelle Produktion allmählich durch, bis sie während der Corona-Lockdowns unverzichtbar wurde. Heute müssen Produktionsfirmen den Schauspielenden nur Kostüme und Requisiten zur Verfügung stellen – alles andere können sie digital umsetzen. Sogar Kulissen können mit Software erstellt und auf riesigen LCD-Bildschirmen in geschlossenen, wetterfesten Filmsets übertragen werden.

Dieser Fortschritt ist der Zusammenführung mehrerer bewährter Tools und Techniken zu verdanken. Wegen der sinkenden Kosten und immer besseren Ergebnisse steigen Kreativschaffende und Studios zunehmend auf diese Technologie um.

Von der Prävisualisierung, in der eine Sequenz in niedriger Auflösung animiert wird, um zu prüfen, ob sie funktioniert, bis hin zum endgültigen Rendering, bei dem der hochauflösende Hintergrund für die Aufnahme vor der Kamera projiziert wird: Virtuelle Produktion kann in allen Phasen eingesetzt werden.

Viele Elemente der virtuellen Produktion waren bereits lange vor COVID-19 etabliert, doch die pandemiebedingten Reise- und Kontaktbeschränkungen waren entscheidend für ihre Durchsetzung. Bei den Dreharbeiten zur Fernsehserie „Hawkeye“ von Marvel spielten beispielsweise die Hauptdarsteller Jeremy Renner, Hailee Steinfeld und Vera Farmiga ihre Szenen jeweils allein auf verschiedenen Soundstages. Die individuellen Darbietungen wurden mit einer Software aufgezeichnet und die daraus entstandenen Daten anschließend in eine einzige virtuelle Szene importiert.

Das war zwar keine ideale Vorgehensweise, lieferte aber einen überzeugenden Machbarkeitsnachweis für den neuen Arbeitsablauf. Durch den vermehrten Einsatz sind außerdem die bereits vorhandenen Tools qualitativ besser geworden. „Remote-Zusammenarbeit kommt jetzt immer öfter vor“, berichtet Chris Bannister, ausführender Produzent für virtuelle Produktion bei Industrial Light & Magic (ILM).

Matt Jacobs, VFX-Beauftragter bei Moving Picture Company (MPC), beobachtet ebenfalls die stetig zunehmende Verwendung der virtuellen Produktion, die ursprünglich durch die Dreharbeiten in Studios mit LED-Bildschirmen während der Pandemie entstand. „Die Techniken und Tools der virtuellen Produktion kamen bereits lange vor der Pandemie bei Filmen wie ‚Der König der Löwen‘ von Jon Favreau zum Einsatz“, so Jacobs. „Virtuelle Kameras sowie Prä- und Post-Visualisierung gab es auch damals schon seit sehr langer Zeit.“

Spiel-Engines wie Unreal Engine oder Unity, die entscheidend für virtuelle Arbeitsabläufe sind, verfügen schon seit Langem über Tools für die virtuelle Produktion. Spiel- und Filmregisseure können virtuelle Kameras steuern und Spiel-Engines können die Bewegungen von Kränen und Auslegerarmen so codieren, dass sie den Kamerabewegungen am Set folgen und sie in einer digitalen Umgebung nachbilden.

Alejandro Arango, Leiter der Abteilung für virtuelle Produktion beim Entwickler von Unreal Engine – dem Softwareunternehmen Epic Games – berichtet, dass Studios und Filmemachende seit Jahren Darbietungen direkt in die Unreal Engine visualisierten und erfassten. Die Einspeisung der Daten erfolge über Motion Capture-Systemen oder Tools wie Autodesk MotionBuilder.

Die Integration von Tools für die virtuelle Produktion wie etwa Produktionsdatenbanken, Veröffentlichungs-Workflows und Renderfarmen in Unreal Engine hatte sich bereits vor der Pandemie rasant weiterentwickelt. „Und natürlich erbrachte ‚The Mandalorian‘ den Nachweis, dass In-Camera-VFX [ICVFX] absolut praxistauglich sind“, so Arango.

Als die Bestandteile der virtuellen Produktion in den 1990er Jahren auf den Markt kamen, waren sie unerschwinglich teuer, und CGI war extrem arbeitsintensiv, sehr grobkörnig und von geringer Qualität. Für viele war es den Aufwand einfach nicht wert. Doch Ingenieure, Softwareentwickler und Animatoren haben die Grenzen der virtuellen Produktion immer weiter verschoben und bahnbrechende visuelle Effekte damit bezahlbarer gemacht.

Für den Film „Interstellar“ aus dem Jahr 2014 ließ Regisseur Christopher Nolan LED-Bildschirme vor den Fenstern der Raumschiff-Kulissen aufstellen, damit die Schauspielenden während der Dreharbeiten die Raumfahrt, Wurmlöcher und das Schwarze Loch Gargantua hautnah miterleben konnten.

Nun können Regisseure am Set auch Live-Bilder von animierten Hintergründen oder CGI-Figuren sehen, und Kameraleute oder die VFX-Künstler können standortfern die Beleuchtung, Farben oder andere Parameter anpassen. Das lässt sich sogar alles in Echtzeit erledigen, während die Szene gedreht wird.

Konkret erfordert virtuelle Produktion drei Komponenten:

1. Bühne

Seit der Erfindung von CGI animieren VFX-Künstler Hintergründe, Effekte wie Rauch oder Wasser, sowie Figuren, Requisiten und alles mögliche andere. In Drehumgebungen ohne virtuelle Produktionsabläufe spielen die Schauspielenden vor riesigen grünen Vorhängen, die später von der Animationssoftware freigestellt und entfernt werden. In der Postproduktionsphase werden die endgültigen Bilder dann digital erstellt und eingefügt.

Bei der virtuellen Produktion wird hingegen das digitale Bild vorab gestaltet, gerendert und mittels LED-Projektion hinter den Schauspielenden eingeblendet, damit es bei den Dreharbeiten für alle Beteiligten in Echtzeit sichtbar ist.

Die Bildprojektion kann auf einem einzelnen LED-Bildschirm – quasi einem Großbildfernseher – oder auf einer ganzen Wand aus mehreren LED-Bildschirmen erfolgen. Die weltweit größte Wand dieser Art wurde 2023 in den Docklands Studios im australischen Melbourne von NantStudios fertiggestellt. Die geschwungene Wand ist 88 m lang, über 12 m hoch und besteht aus 6.000 LED-Paneelen.

2. Kamera

Jede Digital- oder Filmkamera kann für die virtuelle Produktion eingesetzt werden – die eigentliche Arbeit erfolgt im Digitalraum. Bei Standfotos von Kulissen für die virtuelle Produktion fällt sofort auf, dass die Perspektive völlig falsch ist. Das liegt daran, dass die Software die Position und den Blickwinkel der Kamera mit dem eingeblendeten Bild synchronisiert. In den Anfangsjahren der Technologie erfolgte die Bearbeitung manuell, was die Bewegungsfreiheit der Kamera erheblich einschränkte.

Heute ist die Echtzeit-Verfolgung von Kamera und Objektiv jedoch bereits integriert. „Wir haben genügend Daten, um die Ansicht mit der richtigen Perspektive darzustellen“, so Arango. „Anschließend wird es anhand einer UV-Karte bemustert, die durch die Projektion eines virtuellen Modells der Darstellungsgeometrie auf die Kameraebene erzeugt wird, damit das Rendering richtig dargestellt wird.“

Dafür ist eine sorgfältige Vorplanung erforderlich. James Thompson, der bei Pixomondo für den Bereich virtuelle Produktion und Motion Capture zuständig ist, rät Regisseuren und Filmteams, sicherzustellen, dass die Maße der LED-Wand die gewünschten Aufnahmewinkel ermöglichen und für eine ausreichende Beleuchtung sorgen.

Tatsächlich berücksichtigt die virtuelle Produktion, wie das menschliche Auge Licht wahrnimmt, um einen CGI-Hintergrund noch realistischer wirken zu lassen. Laut Thompson rendere die Computerhardware einen inneren und einen äußeren Kegelstumpf – eine abgeschnittene Pyramidenform. „Der innere Kegelstumpf umfasst den Haupt- oder ‚sicheren‘ Bildausschnitt und bietet die höchste Detailgenauigkeit und Bildtreue. Der äußere Kegelstumpf umfasst den Randbereich und wird in der Regel mit einer geringeren Auflösung und weniger detailliert dargestellt. Es sorgt dafür, dass die Umgebung bei Kamerabewegungen nahtlos und immersiv wirkt.“

3. Software

VFX-Künstler erstellen CGI mithilfe leistungsstarker Software für 3D-Modellierung, Animation und Effekte: Pixomondo setzt beispielsweise Autodesk Maya ein und ILM verwendet sowohl Autodesk Maya als auch Autodesk 3ds Max. Die mit diesen Tools erstellten Mediendateien können in eine Spiel-Engine exportiert werden – darunter ist Unreal Engine das gängigste Software-Tool zur Erzeugung von Echtzeitbildern für die virtuelle Produktion.

Genauso wie Spieleentwickler die in Spiel-Engines integrierten Tools nutzen, um unter anderem Landschaften, die physikalischen Gesetze eines Spiels und interaktive Elemente wie Fahrzeuge oder Requisiten zu gestalten, können Filmregisseure und VFX-Künstler dieselben Tools nutzen, um CGI-Welten zu erschaffen. Im Spiel bestimmt die spielende Person mithilfe eines Controllers das Verhalten der Spielfigur. Bei der Regie in der virtuellen Produktion bestimmt der Regisseur die Handlung, die Kamerawinkel und die Rahmenbedingungen, um die Geschichte möglichst wirkungsvoll zu erzählen.

Obwohl die Handlung auf mehreren fiktiven Planeten und im Weltraum spielt, wurde „The Mandalorian“ vollständig auf Soundstages und einem kleinen Außengelände in Los Angeles gedreht. Die ursprüngliche „Star Wars“-Trilogie wurde dagegen an Drehorten in mehreren Ländern – darunter in den USA, Großbritannien, Tunesien und Norwegen – verfilmt.

Das zeigt die Hauptvorteile der virtuellen Produktion: Schnelligkeit und Effizienz. Laut Thompson ermögliche das Echtzeit-Feedback in der virtuellen Produktion Regisseuren, Kameraleuten und VFX-Künstlern, die Wirkung von Kameraeinstellungen sofort zu beurteilen. „Dadurch lassen sich Probleme frühzeitig erkennen“, erklärt er. „Und damit kann man wiederum potenzielle kostspielige Nachbearbeitungen vermeiden.“

Laut Bannister eröffne die Technologie auch neue kreative Möglichkeiten: „Wir haben es in kleineren Fernsehsendungen eingesetzt, um kurzfristige Probleme zu lösen.“ In einer Szene von „How I Met Your Father “ führe die Handlung die Figuren zur New Yorker Brooklyn Bridge. „Aber weil es zu kostspielig und zu zeitaufwendig gewesen wäre, dorthin zu fahren, haben wir eine schnelle Lösung gefunden, indem wir die Brücke auf einer LED-Bühne gezeigt haben.“

Laut Thompson senke die virtuelle Produktion auch den Energieverbrauch für Transport und Beleuchtung sowie für die Heizung und Kühlung großer Produktionsflächen – und sei damit eine nachhaltigere Option: „Dank LED-Beleuchtung und virtuellen Kulissen, die sich in Echtzeit anpassen lassen, können wir sehr energieeffizient arbeiten.“

Gerade für Serien oder Filme, die mit Spannung erwartet werden, gibt es einen weiteren Vorteil: frühen Zugang zu Marketingmaterialien. Normalerweise sind Medien für Trailer erst nach Abschluss der VFX-Arbeiten in der Postproduktion fertig. Durch die Aufnahme von HD-Material mit direkt in der Kamera erstellten CGI-Effekten stehen Schlüsselszenen sofort zur Verfügung.

Der Markt für virtuelle Produktionstechniken ist breit gefächert – und wächst stetig. Laut einer Prognose von 360i Research wurde das Marktvolumen im Jahr 2023 auf 2,55 Milliarden US-Dollar (2,21 Milliarden Euro) geschätzt. Bis 2030 soll es 8,42 Milliarden US-Dollar (2,3 Milliarden Euro) erreichen.

Neben der inszenierten Unterhaltung hat die virtuelle Produktion auch in Umgebungen mit festen Kameraaufbauten wie Nachrichten- und Sportübertragungen im Fernsehen einen festen Platz. Zudem eignet sich die Technologie für Schulungs- und Informationsvideos, die in kleinen Studios gedreht werden.

Auch zukunftsorientierte Anwender aus anderen Branchen setzen bereits auf virtuelle Produktion. Architektenbüros und Bauunternehmen nutzen digitale 3D-Entwürfe von Projekten, um eine virtuelle Begehung des Gebäudes zu ermöglichen. Mit VR-Headsets können Projektbeteiligte einen Rundgang der Nachbildung entweder beim Architektenbüro oder Bauunternehmen erleben oder – sofern die Bilddaten komprimiert und gestreamt werden können –an jedem beliebigen anderen Standort.

Für die Technologie-Messe CES 2024 erstellte Thompson gemeinsam mit Sony ein auf virtueller Produktion basiertes Fan-Erlebnis. Die Resonanz zeigt, dass immersive Erzählungen ein vielversprechendes Marktpotenzial für interaktive Shows und Freizeitparks darstellen. Tausende von Menschen strömten zu der Veranstaltung und interagierten in Echtzeit mit Filmfiguren. „Dafür haben wir Capture-Technologien und haptische Böden eingesetzt“, erzählt Thompson. „Die Umgebung und die Figuren stammten aus unserem Echtzeit-VFX-Projekt „Ghostbusters“-Kurzfilm in Unreal Engine.“

Virtuelle Produktion kommt auch in virtuellen Showrooms für den Automobilverkauf sowie in der Ausbildung zum Einsatz: in Branchen wie etwa dem Gesundheitswesen oder dem Militärbereich müssen Schulungsumgebungen oft sowohl realistisch als auch sicher sein.

Diese breitere Nutzung ist zum Teil darauf zurückzuführen, dass die Kosten fallen. Die Systeme und Technologien der virtuellen Produktion sind zwar immer noch nicht billig, aber Kameratechnik, Datenverarbeitung und Anzeigegeräte werden erschwinglicher und eröffnen damit neue kreative Möglichkeiten.

„Vordenker entwickeln bessere Lösungen für kreative Probleme“, so Jacobs. „Früher haben wir auf Film gedreht – heute sind die meisten Kameras digital. Computer, Software, Bildwiedergabe und Datenübertragung sind um ein Vielfaches schneller geworden. Vor allem waren die Menschen früher viel stärker spezialisiert – heute gibt es in diesem Bereich unzählige Kreativschaffende und Techniker, die in mehreren Disziplinen tätig sind. Das sorgt für Wettbewerb und hat eine erhebliche Wirkung auf die Kosten.“

Virtuelle Technologien sind sehr viel mehr als nur ein cooler Trend, sondern mittlerweile für Filmemachende unverzichtbar geworden. In diesem Sinne ähneln sie anderen bahnbrechenden Neuerungen in der Filmbranche wie etwa der Einführung von Ton, Farbe oder CGI.

Auch die virtuelle Produktion wird ihren Platz finden und für manche Projekte besser geeignet sein als für andere. Je besser man die Anforderungen eines Films versteht, desto besser kann man auch erkennen, ob das Projekt von den Tools und Arbeitsabläufen der virtuellen Produktion profitieren kann.

Es ist unwahrscheinlich, dass virtuelle Produktion Dreharbeiten an physischen Drehorten in absehbarer Zeit vollständig ersetzen wird. Nach „The Mandalorian“ wurde nach einer ästhetischen Entscheidung der Showrunner und Regisseure die „Star Wars“-Serie „Andor“ vollständig an realen Drehorten verfilmt. Lediglich einige Szenen wurden mit StageCraft von ILM, einer Technologie für virtuelle visuelle Effekte am Drehort, aufgenommen. „Virtuelle Produktion passt zwar in bestimmten Umgebungen und kann bei sehr technischen Aufnahmen nützlich sein“, so Jacobs. „Aber nicht alle Drehorte sind dafür geeignet, und nicht alle Filmprojekte haben das Budget dafür.“

Fest steht jedoch: Die virtuelle Produktion ist aus der Medien- und Unterhaltungsbranche nicht mehr wegzudenken, und viele Projekte in vielen verschiedenen Branchen werden dadurch von Kosteneinsparungen, erhöhter Effizienz und neuen kreativen Möglichkeiten profitieren.