Unable to find request data. Please check your configuration.

미디어 및 엔터테인먼트(M&E) 콘텐츠를 만드는 데 게임 엔진, 사운드스테이지, LED 스크린, 디지털 데이터를 사용하는 완전히 새로운 방법이 있다. 바로 버추얼 프로덕션이다.

가장 눈에 띄는 초기 사례로 <아바타>(2009)가 있다. 그 후, 버추얼 프로덕션은 서서히 일반화됐고, 코로나19 팬데믹 시기에 이동이 제한되면서 필수적인 방식으로 자리잡았다. 오늘날 제작사는 배우에게 의상과 소품을 제공하고 나머지는 모두 디지털로 처리할 수 있으며, 환경과 배경은 소프트웨어에 내장되어 외부와 격리되고 날씨에 구애받지 않는 촬영 공간에서 거대한 LCD 화면에 송출된다.

이는 여러 기존 도구와 기술의 융합을 의미하며, 비용은 적어지고 결과물은 계속 발전되고 있기 때문에 아티스트와 스튜디오도 이에 동참하고 있다.

버추얼 프로덕션은 낮은 해상도로 시퀀스를 애니메이션화하여 문제가 없는지 확인하는 사전 시각화부터 고화질 배경을 카메라로 포착하기 위해 투사하는 최종 렌더링에 이르기까지 모든 작업에 사용할 수 있다.

버추얼 프로덕션의 많은 요소는 코로나19가 발생하기 훨씬 전부터 확립되었지만, 팬데믹이 한창일 때 여행이 제한되면서 할리우드까지 확장되는 극적인 순간을 맞이하게 되었다. 기술 발전이 사회적 거리 두기와 같은 뉴 노멀과 완벽하게 일치했기 때문이다.

예를 들어 마블의 <호크아이>를 촬영할 때, 주연 배우들인 제러미 레너(Jeremy Renner), 헤일리 스타인펠드(Hailee Steinfeld), 베라 파미가(Vera Farmiga)는 사운드스테이지에서 각자의 역할을 따로 연기했고, 소프트웨어가 그들의 연기를 캡처하여 그 데이터를 하나의 가상 장면으로 불러왔다.

이상적이지는 않더라도 효과적인 개념 증명이었다. 인더스트리얼 라이트 앤 매직(Industrial Light & Magic, ILM)의 버추얼 프로덕션 총괄 프로듀서인 크리스 배니스터(Chris Bannister)는 "확실히 원격 협업이 많이 이루어지고 있다"고 말했다.

무빙 픽처 컴퍼니(Moving Picture Company, MPC) 프로덕션 VFX 슈퍼바이저인 매트 제이콥스(Matt Jacobs)는 팬데믹 시기 촬영이 LED 조명 무대에서 이루어지는 것에서 버추얼 프로덕션의 시작을 목격했다. 이는 기존 도구를 향상하는 데에도 도움이 되었다. 제이콥스는 "버추얼 프로덕션 도구와 기술은 팬데믹이 시작되기 훨씬 전부터 존 파브로(Jon Favreau)의 <라이언 킹>과 같은 영화에서 사용됐다"며 "가상 카메라, 프리비즈(pre-vis), 포스트비즈(post-vis)와 같은 것들은 아주 오래전부터 존재했다"고 말했다.

워크플로의 토대와도 같은 요소인 언리얼 엔진(Unreal Engine)과 유니티(Unity) 등의 게임 엔진에는 예전부터 버추얼 프로덕션 도구가 포함되어 있었다. 영화와 게임의 감독은 가상 카메라와 게임 조이스틱을 조종할 수 있으며, 게임 엔진은 크레인과 지브 암의 움직임을 인코딩하여 현장 카메라의 움직임을 따라가고, 디지털 환경에서 동일한 움직임을 생성할 수 있다.

언리얼 엔진을 만든 회사인 에픽게임즈(Epic Games)의 버추얼 프로덕션 디렉터 알레한드로 아랑고(Alejandro Arango)는 스튜디오와 영화 제작자들이 수년 동안 언리얼 엔진에서 퍼포먼스를 시각화하고 캡처해 왔으며, 그 데이터를 모션 캡처 시스템이나 오토데스크 MotionBuilder(모션빌더)와 같은 도구에서 스트리밍해 왔다고 말했다.

프로덕션 데이터베이스, 퍼블리싱 워크플로, 렌더 팜과 같은 버추얼 프로덕션 도구들을 언리얼과 통합하는 것은 팬데믹 이전에도 빠르게 발전해 왔다. 아랑고는 "물론, <만달로리안>으로 카메라 내 VFX(ICVFX)가 실행 가능하다는 것이 입증됐다"고 덧붙였다.

90년대에 버추얼 프로덕션의 구성 요소가 등장했을 때는 가격은 엄청나게 비쌌다. CGI는 많은 수작업으로 이루어졌고, 명암이 고르지 않고, 품질이 낮았다. 많은 이들이 굳이 그 수고를 감수할 필요가 없다고 생각했다. 하지만 엔지니어, 소프트웨어 개발자, 애니메이터들은 계속해서 한계를 넓혀갔으며, 획기적인 시각 효과들을 더 저렴하게 만들었다.

2014년 <인터스텔라>에서 크리스토퍼 놀런(Christopher Nolan) 감독은 다양한 우주선 세트의 창문 밖에 LED 스크린을 설치하여 배우들이 촬영 중에 우주여행, 웜홀, 가르강튀아 블랙홀의 애니메이션에 직접 반응할 수 있도록 했다.

이제 감독은 애니메이션 배경이나 CGI 캐릭터의 영상을 촬영 현장에서 실시간으로 볼 수 있으며, 촬영 감독이나 시각 효과 아티스트는 원격으로 조명, 색상 및 기타 변수를 조정할 수 있다. 그리고 이 모든 작업은 그 장면을 촬영하는 동안 실시간으로 진행된다.

진정한 버추얼 프로덕션 파이프라인은 다음과 같은 요소들로 구성된다.

1. 무대

CGI가 등장한 이래로 VFX 아티스트는 배경, 연기나 물과 같은 효과, 캐릭터, 소품, 그리고 이와 관련된 모든 것을 애니메이션으로 만들었다. 배우들은 애니메이션 소프트웨어로 나중에 제거될 거대한 녹색 커튼을 배경으로 연기했고, 아티스트들은 후반 작업에서 디지털로 그림을 그리고 최종 비주얼을 삽입했다.

버추얼 프로덕션으로 LED 프로젝션은 디지털 그림을 세트에 투영하여 실시간으로 보고 반응할 수 있도록 해준다. 디지털 요소는 사전 설계되고 렌더링 되어 연기자 뒤에 투사되므로 촬영 중에 모든 사람이 최종 렌더링을 화면에서 볼 수 있다.

이미지 투사는 단일 LED 스크린(기본적으로 대형 TV)이나 LED 스크린들로 이루어진 벽 전체에서 이뤄질 수 있다. 세계에서 가장 큰 LED 스크린 벽은 2023년 호주 멜버른의 독랜스 스튜디오스(Docklands Studios)에서 버추얼 프로덕션 제공업체 낸트스튜디오(NantStudios)가 제작했다. 이 곡선 벽의 길이는 88미터(289피트), 높이는 12미터(40피트)가 넘으며 6,000개의 LED 패널로 구성되어 있다.

2. 카메라

모든 디지털 카메라나 필름 카메라를 버추얼 프로덕션에 이용할 수 있다. 그 비결은 장면 밖에 있다. 버추얼 프로덕션 배경의 홍보 사진을 본 적이 있다면, 이미지에서 원근감이 이상하다는 것을 쉽게 알아차릴 수 있을 것이다. 그 이유는 소프트웨어가 카메라의 위치 및 시점을 투사되는 이미지와 동기화하기 때문이다. 초기에는 이 작업을 수동으로 해야 했기 때문에 카메라의 움직임이 크게 제한됐다.

하지만 오늘날에는 카메라와 렌즈에 실시간 추적 기능이 내장되어 있다. 아랑고는 "장면을 올바른 원근감으로 보이도록 렌더링하는 데 필요한 데이터를 충분히 확보할 수 있다”며 “그런 다음 디스플레이 형상의 가상 모델을 카메라 위치로 투사하여 생성된 UV 맵으로 샘플링해서 렌더링이 올바르게 나타나게 한다"고 설명했다.

이는 사전 계획이 매우 중요하다는 의미다. VFX와 버추얼 프로덕션 스튜디오 픽소몬도(Pixomondo)의 버추얼 프로덕션 및 캡처 관리자인 제임스 톰슨(James Thompson)은 벽면이 원하는 장면의 촬영 각도를 지원하고 적절한 조명을 제공하는지 감독과 제작진이 확인해야 한다고 강조했다.

사실, 버추얼 프로덕션은 눈이 빛을 인식하는 방식을 고려하여 CGI 배경을 더욱 사실적으로 보이게 한다. 톰슨은 "컴퓨터 하드웨어는 내외부 절두체(일명 절단된 피라미드 모양)를 렌더링한다" 고 덧붙였다. "내부 절두체는 카메라의 주요한, 혹은 '안전한' 프레임을 포함하고 가장 세밀한 정보와 정확도를 갖습니다. 외부 절두체는 주변부를 포함하면서 일반적으로 덜 세밀한 낮은 해상도로 렌더링 되고요. 이렇게 풍경의 연속성을 유지해서 카메라가 움직일 때 환경이 연속적이고 몰입감 있게 보이게 하죠."

3. 소프트웨어

VFX 아티스트는 강력한 3D 모델링, 애니메이션 및 효과 소프트웨어를 사용하여 CGI를 만든다. 예를 들어 픽소몬도는 오토데스크 Maya(마야)를 사용하는 반면, ILM은 오토데스크 Maya와 오토데스크 3ds Max(3ds 맥스)를 모두 사용한다. 이러한 도구를 사용하여 만든 자산은 버추얼 프로덕션에서 사용되는 실시간 이미지를 생성하는 데 있어 가장 일반적인 소프트웨어 도구인 언리얼 엔진(Unreal Engine)과 같은 게임 엔진으로 내보낼 수 있다.

게임 개발자가 게임 엔진에 내장된 도구를 사용하여 풍경, 게임 내 물리 법칙, 차량이나 소품과 같이 서로 작용하는 요소를 설계하는 것처럼, 영화감독과 VFX 아티스트도 동일한 도구를 사용하여 CGI 세계를 구축할 수 있다. 유일한 차이점은 플레이어가 컨트롤러를 사용하여 캐릭터가 어디로 가고 무엇을 하는지 조종하는 대신, 감독이 이야기를 효과적으로 전달하기 위해 움직임, 카메라 각도 및 조건을 선택한다는 것이다.

<만달로리안>에서는 사건들이 여러 행성과 우주에서 일어나지만, 이 작품은 전적으로 LA 사운드스테이지와 작은 야외 세트장에서 촬영되었다. 반면, 오리지널<스타워즈> 3부작은 미국뿐만 아니라 영국, 튀니지, 노르웨이 등지에서 촬영되었다.

이는 버추얼 프로덕션의 주요 이점인 속도와 효율성을 보여준다. 톰슨은 버추얼 프로덕션의 실시간 피드백으로 감독, 촬영 감독, VFX 아티스트가 장면의 효과를 즉시 평가할 수 있다고 설명하며 "이렇게 문제를 초기에 발견할 수 있어서 비용이 많이 드는 후반 수정작업을 피할 수 있다"고 말했다.

배니스터는 이 기술이 새로운 창의적 가능성을 제공한다고 덧붙였다. 그는 "우리는 작은 방송 프로그램에서 당면한 문제를 해결하기 위해 이 기술을 사용했다"며 “<내가 그를 만났을 때>에서 등장인물이 브루클린 브릿지로 가는 장면이 있었는데, 실제로 가기에는 비용이 너무 많이 들고 시간도 너무 오래 걸리기 때문에 LED 무대에서 브루클린 브릿지를 순간적으로 보여주는 방법을 생각해냈다"고 말했다.

또 다른 이점은 지속가능성이다. 톰슨은 운송, 조명 및 대규모 제작 공간을 냉난방하는 데 드는 에너지 소비를 줄일 수 있다며 "실시간으로 조정할 수 있는 LED 조명과 가상 세트는 매우 에너지 효율적"이라고 말했다.

그리고 많은 기대를 모으는 시리즈나 영화를 다룰 때 마케팅 자산을 조기에 확보할 수 있다. 예고편에 나올 만한 순간은 보통 최종 후반 작업 VFX 이후에야 완성되지만, 카메라 CGI로 완성한 고화질 영상을 캡처하면 즉시 훌륭한 장면을 얻을 수 있다.

버추얼 프로덕션 기술 시장은 광범위하며 계속 성장 중이다. 360i 리서치(360i Research)의 전망에 따르면, 그 시장 규모가 2023년에 25억 5천만 달러로 추산됐으며 2030년까지 84억 2천만 달러에 이를 것으로 예상된다.

버추얼 프로덕션은 각본 기반 엔터테인먼트 외에도 뉴스나 TV 스포츠 중계와 같이 고정된 카메라 환경에서도 견고한 위치를 차지하고 있으며, 소규모 스튜디오에서 촬영되는 기업 교육 및 정보 전달 비디오에도 적용할 수 있다.

다른 산업 분야에서도 진보적인 사용자들이 버추얼 프로덕션을 활용하고 있다. 건축가와 건설 회사는 프로젝트의 디지털 3D 설계를 사용하여 이해관계자가 재현된 건물의 내부를 현장에서 "걸어 다닐" 수 있도록 한다. 시각적 데이터를 압축하고 스트리밍할 수 있는 경우, 가상 현실(VR) 헤드셋을 사용하여 원격으로도 가능하다.

톰슨은 2024년 CES 무역 박람회에서 소니와 협력하여 버추얼 프로덕션으로 관객 경험을 구축했고, 관객의 반응을 통해 몰입형 내러티브 경험이 인터랙티브 쇼와 엔터테인먼트 파크에서 흥미로운 시장이 될 수 있음을 확인했다. "수천 명의 사람들이 행사에 몰려들어 <고스트버스터즈>의 마시멜로 귀신과 같은 캐릭터와 실시간으로 상호 작용을 했습니다. 이 경험은 캡처 기술과 햅틱 플로어링(haptic flooring)을 사용했고, 환경과 캐릭터는 언리얼 엔진의 실시간 VFX 고스트버스터즈 단편 영화 프로젝트에서 가져왔죠."

버추얼 프로덕션을 사용하는 또 다른 산업으로는 가상 쇼룸에서의 자동차 판매, 의료 및 군대와 같은 분야의 교육이 있으며, 이러한 분야의 교육 환경은 사실적이면서도 안전해야 한다.

한편으로는 비용 제안이 역전된 이유로 이러한 다양한 활용이 가능해졌다. 버추얼 프로덕션의 시스템과 기술은 저렴하지 않지만, 카메라 기술, 데이터 처리 및 디스플레이 장비의 가격이 낮아지면서 더 쉽게 이용할 수 있게 되었고, 창의적인 가능성을 열었다.

제이콥스는 "똑똑한 사람들이 창의적인 문제에 대한 더 나은 솔루션을 만들어냈다"고 말했다. "과거에는 필름으로 촬영했지만, 지금은 대부분의 카메라가 디지털입니다. 컴퓨터, 소프트웨어, 렌더링은 기하급수적으로 빨라졌습니다. 데이터는 전 세계로 훨씬 더 빨리 전송될 수 있습니다. 무엇보다도, 예전에는 사람들이 훨씬 더 전문화되어 있었지만 지금은 이 분야에 교차하는 여러 역량을 가진 수많은 아티스트와 기술자가 존재합니다. 이것이 경쟁을 유발하고 비용에 큰 영향을 미칩니다."

할리우드가 트렌드를 따르는 데 있어 가상 기술은 확실히 멋질 뿐 아니라 사운드, 색상, CGI 등의 획기적인 발전과 마찬가지로 영화 제작자에게 필수적인 도구가 되었다.

다른 도구와 마찬가지로 버추얼 프로덕션도 자리를 잡을 것이고 어떤 프로젝트에서는 가장 적합한 도구가 될 것이다. 제작에 필요한 사항들에 대해 이해하면 프로젝트가 이러한 도구와 워크플로에서 이익을 얻을 가능성을 알 수 있을 것이다.

버추얼 프로덕션이 가까운 시일 내에 실제 로케이션 촬영을 완전히 대체할 가능성은 작다. <만달로리안> 이후, <스타워즈> 시리즈의 <안도르>는 완전한 로케이션 촬영으로 진행되었고, 일부 장면은 ILM의 버추얼 프로덕션 툴셋인 스테이지크래프트(StageCraft)로 촬영되었다. 이는 프로그램 총괄 책임자와 감독이 내린 미학적 결정이다. 이에 대해 제이콥은 "버추얼 프로덕션은 어떤 특정한 환경에 잘 맞고 매우 기술적인 장면에 유용할 수 있지만, 모든 로케이션에 적합한 것은 아니며, 모든 프로덕션이 경제적으로 여유롭지는 않다"고 말했다.

하지만 버추얼 프로덕션이 앞으로도 계속 이어질 것은 분명하고, 이는 산업 전반에 걸쳐 많은 프로젝트에 새로운 수준의 비용 절감, 효율성, 창의적인 기회를 가져다줄 수 있다.