엔비디아의 마법, 사진 몇 장으로 수 초 만에 3D 폴리곤을

과거, 2D 사진만으로 3D 폴리곤을 만들기 위해서는 디자이너가 수십 시간을 투자해야 했다. 평면 사진을 바탕으로 특정 각도에서는 어떻게 보일지를 감안해 가며 텍스쳐를 손봐야 했으며, 디자이너의 실력에 따라 실제 사진과 거리가 먼 결과물이 나오기도 했다.

AI 시대가 오면서 이러한 일련의 과정은 AI가 담당할 수 있게 됐다. 같은 공간에서 동시에 촬영된 다각도의 사진을 인공지능이 분석한 후, 실제 사진을 기반으로 한 3D 모델링을 완성하는 것이다. 다만, 창의력과 상상력이 필요한 고난이도의 작업이다 보니 AI가 이를 분석하고 재현하는 데 상당한 시간이 걸릴 수밖에 없었다.

엔비디아가 25일(현지시간), 엔비디아 GTC 세션을 통해 선보인 NeRF 기술은 이러한 AI의 3D 모델링 속도를 1,000배 이상 향상시켰다. 이 기술은 수십 장의 2D 사진만 있으면 불과 수 초 만에 3D 모델링을 끝낸다. 속도 향상을 위해 초고속 신경망 훈련 기술이 적용됐다. 부분만으로 사물의 깊이와 모양을 추정하는 렌더링 기술은 기존에 수 시간에서 수십 분이 걸렸지만, 엔비디아 Tensor Cores 환경에서 NeRF 기술을 적용하면 수 초 만에 완료된다.

실제로 엔비디아가 공개한 영상에 따르면, 앤디 워홀이 폴라로이드 사진기를 들고 있는 장면을 패러디한 모델의 사진 몇 장으로 실제 3D 공간에 존재하는 실사형 캐릭터를 만들어냈다. 영상에서는 사진 네 장으로 구현한 것처럼 묘사됐지만, 실제로는 여러 위치에서 찍은 수십 장의 이미지가 필요하며 각 사진 사이의 움직임 차이가 심하면 3D 모델링이 흐려질 수 있다.

엔비디아 측 설명에 따르면 이 기술은 또한 건축 및 엔터테인먼트, 메타버스와 같은 가상세계 구현 뿐 아니라, 로봇이나 자율주행 자동차가 카메라로 본 실제 사물의 사진이나 영상만으로 실제 사물의 크기와 모양을 이해하도록 훈련하는 데도 사용될 수 있다.