모션 캡처는 어떻게 할리우드의 주요 VFX 캐릭터 기술로 자리 잡았는가?

<반지의 제왕: 두 개의 탑>에서 골룸이라는 캐릭터는 배우 앤디 서키스(Andy Serkis)의 연기를 바탕으로 제작한 완전한 디지털 작업물이다. 처음에 서키스는 골룸의 목소리 연기만 맡을 예정이었지만, 작업을 진행하면서 피터 잭슨(Peter Jackson) 감독은 배우의 움직임을 훌륭하게 영상으로 전환할 수 있다는 것을 깨달았다. 모션 캡처 또는 퍼포먼스 캡처라고 불리는 이 기법을 피터 잭슨 감독이 처음 고안한 것은 아니다. 이 기법의 초기 버전인 로토스코핑(rotoscoping)은 1937년 디즈니 <백설 공주>에 사용된 것으로 잘 알려져있다.

<두 개의 탑>에서 애니메이터들은 <백설 공주>에서와 마찬가지로, 퍼포먼스 영상을 참조하여 실사 영상에서 앤디 서키스의 타이밍과 움직임을 일치시켰다. 피터 잭슨의 영화는 20년 전 <반지의 제왕> 3부작과 <킹콩>을 통해 새로운 차원의 사실감과 세밀한 묘사를 구현했으며, <두 개의 탑>과 <왕의 귀환>으로 아카데미 시각효과상을 받은 바 있다.

<아바타>, <혹성 탈출> 시리즈 등 앞서 언급한 영화들에서 퍼포먼스 캡처 기술을 발전시켜 온 웨타 FX의 VFX 슈퍼바이저 에릭 윈퀴스트(Erik Winquist)에 따르면 퍼포먼스 캡처 기술의 본질은 그 이후로도 변하지 않았다. "기본적으로는 여전히 재능 있는 배우를 데려와 이런저런 종류의 마커를 부착시켜 촬영장에 세운 후, 그들의 연기를 촬영하는 것"이라고 윈퀴스트는 말했다.

VFX 아티스트들은 최고의 작업은 눈에 보이지 않는 것이라고 말한다. 사실감에 대한 기준이 매우 높아서, 관객들은 VFX가 조금이라도 어긋나는 것을 용납하지 않는다. 올해 <혹성탈출: 새로운 시대>에서는 퍼포먼스 캡처가 완벽히 이루어져, 관객들은 소품, 실사 캐릭터 및 서로 간에 상호작용을 하는 사실적인 말하는 유인원들을 스크린에서 만날 수 있다.

2011년 작 <혹성탈출: 진화의 시작>에서 윈퀴스트와 그의 기술팀이 해결한 큰 과제 중 하나는 세트장 밖 야외에서 모션 캡처 작업을 진행하는 것이었다. 윈퀴스트는 "모션 캡처 기술은 적외선을 기반으로 하는데, 태양광에는 엄청난 양의 적외선이 있다"며 "야외로 나가는 순간 모든 것에서 반사되는 적외선과 싸우게 되는 것"이라고 말했다.

모션 캡처 팀은 정밀한 캡처를 위해 윈퀴스트가 묘사한 것처럼 "검은 바닷속 흰 점들"이 필요한데, 이 점들은 바로 배우들이 입는 모션 캡처 슈트에 부착된 마커를 가리킨다. 실내 세트에서는 적외선 없이 인공조명을 사용할 수 있으므로 카메라가 슈트의 마커를 쉽게 포착할 수 있다. 야외 퍼포먼스 캡처에 관한 해답은 발전된 마커에 있었다.

최신 마커는 카메라 셔터와 동기화되어 발광하는 작은 LED 광원으로, 다른 모든 적외선 광원을 격리하고 걸러낸다. 카메라맨은 햇빛 속의 적외선이 포착되지 않도록 노출 설정을 조정할 수 있다.

하지만 액티브 LED 조명은 무척 섬세하다. 2014년 작 <혹성탈출: 반격의 서막>에서 웨타 FX는 캐나다 밴쿠버의 습한 숲속에서도 야외 촬영이 가능하게 하기 위해 전선을 보호용 고무줄로 감쌌다. 2017년 작 <혹성탈출: 종의 전쟁>에서는 이 보호용 케이스 덕분에 눈이나 물과 같은 더욱 혹독한 환경에서도 퍼포먼스를 캡처할 수 있었다.

웨타 FX 모션 캡처 프로세스의 또 다른 발전으로는 페이셜 리그(facial rig)에 더 많은 기술을 적용하여 세부적인 모습을 더 많이 포착하고, 두 대의 카메라를 사용하여 그 세부 사항을 더욱 정확하게 담아내는 방법이 있다. 3D 영화가 두 이미지 사이의 차이를 거의 느낄 수 없는 깊이감의 착시 효과를 주는 것처럼, 두 대의 카메라를 사용하면 애니메이터는 배우의 얼굴에 더욱 정확한 3D 메시를 적용할 수 있어 단일 렌즈보다 훨씬 더 정밀한 세부 묘사를 얻을 수 있다.

이 획기적인 기술은 영장류 특유의 독특한 얼굴 움직임으로 <혹성탈출: 새로운 시대>에서 결정적인 역할을 했다. 윈퀴스트는 "배우가 입술을 오므리고, 늘리거나 내밀 때, 특히 유인원이 울부짖는 소리를 낼 때, 이 모든 것을 카메라 한 대에 담기는 힘들 수 있고 어림짐작으로 이루어지는 작업이 많다"며 "3D 메시로 훨씬 더 정밀한 표현이 가능하다"고 말했다. 이러한 움직임을 구현하는 것, 즉 실제 유인원처럼 살아 숨 쉬고 말하는 유인원 캐릭터를 만들어내는 것은 퍼포먼스 캡처가 얼마나 발전했는지 보여준다.

또한 새로운 기술을 사용하면 3D 심도 합성을 수작업으로 할 필요가 없어졌다. 페이셜 리그와 일반 카메라의 스테레오 캡처 덕분에 웨타 FX는 배우뿐만 아니라 프레임 안의 모든 것을 3D 메시로 생성할 수 있었다. 이는 2D 애니메이션 객체를 실사 프레임에 배치하는 매치 무빙 프로세스를 크게 개선했다. 윈퀴스트는 "여덟 명의 주요 캐릭터가 무기 등 실제 소품을 사용하거나 책장을 넘길 때, 이러한 동작을 메인 영상에서 그대로 유지하면서 3D 공간에서의 캐릭터 위치를 정확히 파악할 수 있다면 그 상호작용을 하는 캐릭터를 애니메이션 요소로 대체하는 작업이 훨씬 쉬워진다"고 말했다.

퍼포먼스 캡처 과정의 핵심 요소는 여전히 연기, 즉 배우가 캐릭터로서 움직이고 행동하는 것이다. <두 개의 탑>과 <왕의 귀환>에서 골룸이라는 캐릭터를 그토록 잘 살린 것은 앤디 서키스가 겁 많고 예민한 성격을 잘 탐구했기 때문이다. <혹성탈출: 새로운 시대>에서 주연 배우 오웬 티그는 연기에 진정성을 불어넣기 위해 영장류 보호구역에서 유인원의 움직임을 탐구했다.

앤디 서키스는 새로운 <반지의 제왕> 프로젝트 <헌트 포 골룸>에 대한 언론과의 인터뷰에서 기술이 실제로 해방감을 준다고 말했다. 그는 "이제 연기자가 과잉 연기를 의식하지 않고 더 많은 것을 내면화할 수 있는 수준에 도달했다"며, "이는 지금 훨씬 더 크고 깊은 차원에서 영향을 미치고 있다"고 말했다.

하지만 이제 감독은 연기되는 장면을 태블릿에서 보면서 캐릭터 리그를 실시간으로 퍼포먼스 캡처 데이터에 적용할 수 있다는 것을 유념해야 한다. 윈퀴스트는 다음과 같이 말했다. "영화 제작자는 캐릭터가 '유인원을 닮았는지’에 신경 쓸 필요가 없습니다. 캐릭터를 더 크게 만들거나 프레임에 더 잘 맞게 만드는 등 모든 형태의 후반 작업 조정이 가능하니까요. 가장 중요한 것은 배우의 얼굴에서 일어나는 섬세한 표현, 즉 가장 미세한 세밀한 조정입니다. 저는 인간의 연기가 가진 거친 결을 다듬어 없애는 것이 걱정됩니다. 감독이 실시간 저해상도 프록시 페이셜 리그가 적용된 대략적인 결과물을 보기 때문에 그러한 부분을 알아차리지 못한다면 어느 테이크가 더 나은지 판단하는 데 필요한 정보를 얻을 수 없겠죠."

윈퀴스트는 기술이 아무리 발전하더라도 감독과 애니메이터에게 가장 중요한 것은 배우가 무엇을 표현하는지를 제대로 보는 것이라고 덧붙였다. 몇 픽셀에 불과한 미묘한 눈 움직임만으로도 모든 이가 ‘감정의 변화’를 느낄 수 있기 때문이다.

촬영장의 퍼포먼스 캡처와 후반 작업의 CGI 증강 효과가 공존하는 균형 지점이 있다. 윈퀴스트는 "어떤 이유로든 감독이 촬영 당일에 놓친 부분을 새로 만들어내야 할 때가 있다"며 "흔히들 영화가 실제로는 편집실에서 만들어진다고 하고, '이걸 그때 알았더라면 다르게 촬영했을 텐데, 웨타 FX, 도와줄 수 있나요?'라고 묻는 사람도 있다"고 말했다.

다시 말하지만, 모든 것은 연기로 귀결된다. "저희 애니메이터들은 정말 재능이 넘치지만, 감독과 배우 사이에는 뭔가 특별한 것이 존재합니다." 윈퀴스트는 말했다. "변화는 바로 그때 그 순간에 이루어집니다. VFX로 넘어가면, 몇 시간이라 해도 여전히 지연이 있을 수밖에 없죠. 그때쯤이면 촬영장에서만 느낄 수 있는 마법 같은 즉흥성은 사라져 버립니다."

이 분야에서 오랜 경력을 쌓은 윈퀴스트는 회사의 렌더링 파이프라인이 탄탄하고 효율화되어 있어, 그의 팀이 사물을 "완벽하고 의심할 여지 없이 사실적으로" 렌더링할 수 있다고 말했다. 2000년대 CGI의 주요 성과는 물, 불, 머리카락과 같은 표면을 마침내 ‘정복’한 것이었다. 이제 CGI와 VFX 제작의 효율성을 높이는 방법에 집중하고 있다. 윈퀴스트는 "새 하드 드라이브를 사서 계속 채워가는 것과 같다"고 말했다.

퍼포먼스 캡처는 현대 VFX에서 대단히 데이터 집약적인 분야 중 하나로, 머신 러닝에 적합하다. <혹성탈출: 새로운 시대>에는 1500개가 넘는 VFX 장면이 있으며, 대부분 퍼포먼스 캡처 데이터를 포함한다. VFX가 전혀 포함되지 않은 장면은 38개에 불과하다. 이는 골룸이 <두 개의 탑>에서 17분 분량으로 등장했던 2002년 상황과 큰 차이를 보인다.

웨타 FX는 머신 러닝을 활용하여 페이셜 딥 러닝 솔버(FDLS)를 개발했다. 이는 알고리즘 기반의 퍼포먼스 캡처 렌더링을 사람이 처음부터 끝까지 검증할 수 있도록 하여, 대부분의 머신 러닝 도구에서 나타나는 속을 알 수 없는 ‘암흑 상자’와 같은 특성을 배제한다. 장면이 승인되면 애니메이터는 결과를 편집이나 애니메이션 애플리케이션 내의 도구로 직접 스트리밍할 수 있다. 웨타 FX는 오토데스크 Maya(마야)를 자체 개발한 시각 효과 및 애니메이션 툴을 위한 플랫폼으로 사용한다.

웨타 FX의 머신 러닝 기술 발전은 아티스트들이 더 많은 작업을 할 수 있도록 지원하는 것을 목표로 한다. 윈퀴스트는 "기존 핵심 인력에게만 맡기고 싶었지만, 유인원의 얼굴로 음성 대화를 표현하려면 작업량이 훨씬 많아야 했다"고 말했다. 그는 FDLS 덕분에 <혹성탈출: 새로운 시대> 애니메이터들이 여러 장면에 적용할 수 있는 각 캐릭터의 일관된 기반을 확보할 수 있었다고 덧붙였다.

퍼포먼스 캡처 워크플로에서는 결국 모든 것이 스토리의 본질과 제작 스타일로 귀결된다. "수십 개의 장면에 나오는 캐릭터라면 접근 방식이 달라집니다. 모션 캡처에는 더 큰 작업 공간이 필요하니까요. 이를테면 40명에 달하는 스태프를 데리고 다녀야 하는 거죠." 윈퀴스트가 설명했다. "캐릭터가 하나라면 촬영장에서 차지하는 공간이 훨씬 줄어들고 작업 효율도 훨씬 높아집니다. 그래서 촬영에 들어갈 때 작품과 예산에 가장 적합한 기술을 선택하는 것이 가장 중요한 고려 사항이죠.”

"특정 프로젝트의 필요 사항을 평가하고 그에 따라 계획을 세웁니다." 윈퀴스트가 설명을 이어갔다. "완벽한 캡처 시스템을 사운드스테이지나 야외 촬영장에 가져갈 수도 있고, 비디오 카메라 몇 대만 설치하고 연기자들에게 조금씩 다른 마커를 씌워서 촬영한 뒤 나중에 정리할 수도 있습니다."