コンテンツ制作を変革するバーチャルプロダクションのワークフロー
- メディア＆エンターテインメント業界におけるデータとハードウェアの枠組みは進歩し続けており、各プロダクションはその組み合わせが部分集合以上のものになることを見出している。
- そこで重要になるのが、従来のセットやロケーションの代わりにゲームエンジンやサウンドステージ、LEDスクリーンを使ったワークフローであるバーチャルプロダクションだ。
- このプロセスは時間と制作費を削減して遠隔コラボレーションを可能にし、期待度が高いコンテンツの予告編などのマーケティング資産へ、より早い段階でアクセスできる。
- バーチャルプロダクションのコストが下がることで、建築・建設や医療、セールスなどの分野でも、バーチャルツアーやリアルで安全なトレーニングなどに用途が広がりつつある。
バーチャルプロダクションは、ゲームエンジンやサウンドステージ、LEDスクリーン、デジタルデータを使用してメディア＆エンターテインメント (M&E) のコンテンツを生み出す、全く新たな方法だ。
その初期における最も身近な例が『アバター』(2009年) で、その後の新型コロナウイルス感染症の大流行によるロックダウンにより、バーチャルプロダクションは不可欠な存在となるまでゆっくりと普及していった。今日では、役者には衣装と小道具は与えられるが、それ以外はすべてデジタルで処理される。周辺の環境や背景はソフトウェアで構築され、天候に左右されない屋内のパフォーマンス空間に設置された、巨大なLCDスクリーンに映し出される。
これは、複数の確立されたツールやテクニックの融合を意味するものであり、そのコストが下がり結果が向上するにつれ、採用するアーティストやスタジオも増えている。
時間をかけてようやく実現
シークエンスを低解像度でアニメーション化し、それがうまく機能するかを確認するプレビズ (プレビジュアライゼーションの略; プリビジュアライゼーション、プリビズとも呼ばれる) からら、高解像度の背景をインカメラ撮影用に投影する最終レンダリングまで、バーチャルプロダクションはあらゆる場面で使用できる。
その要素の多くはコロナ禍のはるか以前から確立されていたが、パンデミック最盛期における移動の制限が、このプロセスにクライマックスをもたらした。技術の進歩が、ソーシャルディスタンスという新しい日常と完璧にシンクロしていたからだ。
例えば、マーベルの『ホークアイ』の撮影では、主演のジェレミー・レナー、ヘイリー・スタインフェルド、ヴェラ・ファーミガがそれぞれの役をサウンドステージ上で遠隔地から演じ、その演技をソフトウェアでキャプチャして、単一のバーチャルシーンへデータをインポートしている。
これは理想的ではないものの、効果的な概念実証だったと言える。ILM (インダストリアル・ライト&マジック) でバーチャルプロダクション部門のエグゼクティブプロデューサーを務めるクリス・バニスター氏は、「リモートコラボレーションが増えているのは間違いありません」と話す。
MPC (ムービング・ピクチャー・カンパニー) のプロダクションVFXスーパーバイザーであるマット・ジェイコブス氏は、パンデミック中の撮影でLEDライトステージに焦点を当たり、バーチャルプロダクションが急成長するのを目の当たりにした。「バーチャルプロダクションのツールや技術は、例えばジョン・ファヴロー監督の『ライオン・キング』などの作品で、パンデミックのかなり前から使われていました」と、ジェイコブス氏。「バーチャルカメラやプレビズ、ポストビズなどは、かなり以前から存在していたのです」。
ワークフローの要であるUnreal EngineやUnityなどのゲームエンジンには、以前からバーチャル制作ツールが搭載されていた。映画やゲームの監督はバーチャルカメラやゲーミングジョイスティックを操作でき、またゲームエンジンはクレーンやジブアームの動きをコード化してセットのカメラの動きに追従させて、デジタル環境で同じ動きを再現できる。
Unreal Engineの開発元であるEpic Gamesのバーチャルプロダクションディレクター、アレハンドロ・アランゴ氏によると、スタジオや映画製作者はモーキャプシステムやAutodesk MotionBuilderなどのツールからデータをストリーミングし、それを直接Unreal Engineにキャプチャーしてビジュアル化することを何年も前から行ってきた。
プロダクションデータベース、パブリッシングワークフロー、レンダーファームといったバーチャルプロダクションツールとUnrealとの統合は、パンデミック以前から急速に進化していた。「そしてインカメラVFX が成功するであろうことが『マンダロリアン』で証明されたのです」と、アランゴ氏は話す。
ついに脚光を浴びるように
90年代にバーチャルプロダクションのコンポーネントが登場した時点では、それらは法外に高価なものだった。またCGIは手作業が多く、解像度やクオリティも低かったため、それは多くの場合に、割の合わないものだったのだ。だがエンジニアやソフトウェア開発者、アニメーターたちは限界に挑戦し続け、画期的なビジュアルを、より手頃なコストで実現できるようになった。
クリストファー・ノーラン監督は2014年の『インターステラー』で、さまざまな宇宙船のセットの窓外にLEDスクリーンを設置し、撮影中に俳優たちが宇宙旅行やワームホール、超大質量ブラックホール「ガルガンチュア」のアニメーションに反応できるようにした。
現在は監督もセット上でアニメーションの背景やCGIキャラクターのライブ映像を確認でき、また撮影監督や視覚効果担当は照明や色、その他の不確定要素を遠隔操作で微調整できる。しかも、そのすべては撮影中にリアルタイムで実行可能だ。
パズルのピース
真のバーチャルプロダクションのパイプラインは次のようなパーツで構成される。
1. ステージ
CG映像の登場以来、VFXアーティストは背景、煙や水のような効果、キャラクター、小道具など、あらゆるものをアニメーション化してきた。俳優たちが巨大なグリーンのカーテンを背景に演技をした後、そのカーテンはアニメーションソフトウェアで分離、除去され、ポストプロダクションで配色や最終的なビジュアルの挿入がデジタルで行われる。
バーチャルプロダクションでは、LEDプロジェクションによりセット上にデジタルペインティングが配置され、それをリアルタイムで確認し、反応することが可能だ。事前にデザイン、レンダリングされたデジタル要素が演者の背後に映し出されるため、撮影中に最終的なオンスクリーンレンダリングを全員が見ることができる。
イメージは、1台のLEDスクリーン (大画面テレビ) 上にも、壁一面に配置された複数のLEDスクリーン (LEDウォール) 上にもプロジェクション可能だ。バーチャルプロダクションプロバイダーNantStudiosは、2023年、オーストラリア・メルボルンのDocklands Studiosに世界最大のLEDウォールを設置した。このカーブした幅88m、高さ12m超の壁は、6,000枚のLEDパネルで構成されている。
2. カメラ
バーチャルプロダクションにはあらゆるデジタルカメラとフィルムカメラを採用できるが、決め手となるのは舞台裏だ。バーチャルプロダクションの背景のスチール画像を見たことがある人は、画像の遠近感が異様なほどおかしいことに気づくだろう。これはカメラの位置と視点を、投影される画像とソフトウェアを使って合わせているためだ。この処理は、初期の頃は手作業で行わなければならず、カメラの動きに大きな制約をもたらしていた。
現在は、カメラとレンズのリアルタイムトラッキング機能が組み込まれている。「データにより、景色を十分に正しい遠近感でレンダリングできます」と、アランゴ氏。「その後、レンダリングが正しく表示されるよう、ディスプレイジオメトリのバーチャルモデルをカメラのプレーンに投影し、生成されたUVマップを使ってサンプリングされます」。
重要なのは事前の計画だ。VFX/バーチャルプロダクションスタジオPixomondoでバーチャルプロダクションとキャプチャーのスーパーバイザーを務めるジェームス・トンプソン氏は、監督とクルーはウォールサイズが希望するショットアングルに合致し、適切な照明を提供できることを確認する必要があると注意を促す。
実際、バーチャルプロダクションではCGの背景をよりリアルに見せるため、眼による光の感知の仕組みが考慮される。「コンピューターハードウェアは、視錐台 (頂上を切り取られたピラミッドのような形状) の内側と外側をレンダリングします」と、トンプソン氏。「視錐台の内側はカメラのメインフレーム、つまり「安全な」フレームをカバーしており、最高のディテールと忠実性になります。視錐台の外側は外縁部をカバーし、通常、ディテールを抑えた低解像度でレンダリングされます。そうすることで、舞台背景の連続性が保たれ、カメラの動きに合わせて背景が連続的かつイマーシブに表現されます」。
3. ソフトウェア
VFXアーティストは、パワフルな3Dモデリング、アニメーション、エフェクトソフトウェアを使用してCG映像を作成しており、PixomondoはAutodesk Mayaを、ILMはAutodesk MayaとAutodesk 3ds Maxの両方を使用している。これらのツールを使用して構築されたアセットはUnreal Engineなどのゲームエンジンにエクスポート可能。Unreal Engineは、バーチャルプロダクションで使用されるリアルタイム画像生成の、最も一般的なソフトウェアツールになっている。
映画監督やVFXアーティストも、ゲーム開発者がゲームエンジンの内蔵ツールを使用して風景やゲーム内の物理法則、乗り物や小道具などのインタラクティブ要素をデザインするのと同じツールを使ってCGの世界を構築できる。唯一の違いは、プレイヤーがコントローラーを用いてキャラクターの行き先や行動をコントロールするのでなく、監督が効果的にストーリーを伝えるためのアクション、カメラアングル、条件を選択する点だ。
バーチャルプロダクションの利点
『マンダロリアン』は複数の惑星や宇宙を舞台としているが、その撮影はすべてロサンゼルスのサウンドステージと小さなバックロットで行われた。米国や英国、チュニジア、ノルウェーといった国で撮影された『スター・ウォーズ』旧3部作とは対照的だ。
これはバーチャルプロダクションの主要なメリットであるスピードと効率を示すものだ。トンプソン氏によると、バーチャルプロダクションで得られるリアルタイムのフィードバックにより、監督や撮影監督、VFXアーティストはショットの有効性を即座に評価できる。「早い段階で問題を特定でき、コストのかさむポストプロダクションでの修正を回避できます」とトンプソン氏。
またバニスター氏は、この技術は斬新な創造の可能性をもたらすと付け加える。「小規模な放送番組で、問題の解決に使用したことがあります」と、バニスター氏。「『パパと恋に落ちるまで』で、登場人物たちがブルックリン橋に行くシーンがあったのですが、実際にそこへ行くには費用も時間もかかりすぎるため、LEDステージにブルックリン橋を映す方法を思い付きました」。
もうひとつのメリットがサステナビリティだ。トンプソン氏は輸送、照明、大規模なプロダクションスペースの冷暖房によるエネルギー消費を削減できると話す。「リアルタイムに調整できるLED照明とバーチャルセットによって、エネルギー効率を高めることができます」。
また期待度の高いシリーズや映画の場合、そのマーケティング資産にいち早くアクセスできるようになる。通常はポストプロダクションでの最終VFXを経てからでなければ予告編を準備できないが、インカメラCGIを使用した高解像度の映像をキャプチャーすれば、それにふさわしいショットをすぐに作成できる。
エンターテインメントの枠を超えて
バーチャルプロダクション技術の市場は広く、成長を続けている。360i Researchの予測では2023年の市場規模は推定25.5億ドルで、2030年には84.2億ドルに達する。
バーチャルプロダクションは、台本のあるエンタメだけでなく、ニュースやスポーツ番組のような固定カメラのセットアップ環境でも確固たる地位を築いており、小スタジオで撮影される企業研修や情報ビデオにも応用できる。
他業界の先進的なユーザーもバーチャルプロダクションを実践している。建築家や建設会社は、プロジェクトのデジタル3D設計を利用し、ステークホルダーが建物内部を「歩ける」ようにしている。ビジュアルデータを圧縮してストリーミングできれば、それは現場でも、VRヘッドセットを使用したリモートでも可能だ。
トンプソン氏は2024年のCESトレードショーでソニーと協力し、バーチャルプロダクションで構築されたファン体験を発表。その反響は、没入型の物語体験がインタラクティブなショーやテーマパークにおいてエキサイティングな市場を形成する可能性があることを示している。「何千人もの人々がイベントに集い、『ゴーストバスターズ』のマシュマロマンのようなキャラクターとリアルタイムで触れ合うことができました。この体験ではキャプチャー技術とハプティクスフロアが使用され、周辺環境とキャラクターはUnreal Engineで製作したリアルタイムVFXの『ゴーストバスターズ』短編プロジェクトから採用されました」。
バーチャルショールームでの自動車販売や、医療や軍事といった分野における教育など、バーチャルプロダクションを利用する他の業界では、トレーニング環境がリアルかつ安全でなければいけないことも多い。
これほど広く用いられるようになったのには、コストの問題も大きい。バーチャルプロダクションを支えるシステムや技術は決して安価なものでないが、カメラ技術やデータ処理、ディスプレイ設備の価格が下がることで身近になり、クリエイティブな可能性を広げている。
「賢明な人々は創造上の問題に対し、より優れた解決策を考案してきました」と、ジェイコブス氏。「以前はフィルムで撮影していましたが、今ではほとんどのカメラがデジタルです。コンピューターやソフトウェア、レンダリングは指数関数的に高速化し、データは世界中に極めて迅速に転送されています。そして、かつて人材はもっと分化されていましたが、今やこの業界には複数の分野で活躍するアーティストや技術者が無数に存在しています。それによって生まれた競争が、コストに大きな影響を与えています」。
最近の動き
ハリウッドは流行を追いがちだが、バーチャル技術はいまだにクールであり、音響や色彩、CGなどの画期的な進歩と同様に、映画制作者に不可欠なツールとなっている。
他のツール同様、バーチャルプロダクションもその居場所を見つけるだろうし、またより適しているプロジェクトもあるだろう。プロダクションのニーズを理解すれば、そのプロジェクトがこれらのツールやワークフローから恩恵を受けられるかどうかを判断できる。
バーチャルプロダクションがロケ撮影に完全に取って代わるのは、それほど近いことではないだろう。『マンダロリアン』の後、『スター・ウォーズ』フランチャイズのドラマシリーズ『キャシアン・アンドー』は完全ロケで撮影され、一部のシーンのみがILMのバーチャルプロダクションツールセットStageCraftを使って撮影された。ジェイコブス氏は、「バーチャルプロダクションは、特定の環境でその役割を果たします」と話す。「非常にテクニカルな撮影には有効ですが、すべてのロケーションに適切であるわけではなく、またコスト的にも、すべてのプロダクションに導入できるわけでもありません」。
だがバーチャルプロダクションが普及していくことは明白だ。それは業界を問わず、多数のプロジェクトに新たなレベルのコスト削減、効率化と、クリエイティブな機会をもたらすものなのだ。