NeRF 배경 장면 제작을 위한 최적의 카메라 궤적

강준구1, 유경민1, 손보성1, 박노갑2, 박용현2, 김현지2, 홍현기*
중앙대학교1,*, SK 텔레콤2
한국인공지능학회, 2023
(Oral Presentation)
Paper Code

요 약

ㅤ본 논문은 실사 및 컴퓨터 그래픽 요소를 합성하기 위해 사용되는 Neural Radiance Fields(NeRF) 기술을 분석한다. NeRF는 2D 이미지를 학습하여 어떤 각도에서든 사실적인 장면을 생성하는 인공지능 기법이다. 이를 통해 배경의 3D 가상 공간을 구현하는 과정에서 소요되는 비용과 시간을 크게 줄일 수 있다. 본 논문에서는 NeRF를 통해 생성한 3D 배경 장면의 성능 향상을 위해 궤적 등의 조건에 따라 생성된 결과 영상의 화질 등을 분석하고, NeRF의 적절한 입력 영상 촬영 방법 등을 제시한다.

카메라 궤적

카메라 궤적 비교 Best vs Worst

트레비 분수 (실내, 근경)

트랙+줌인 (Best) vs 트랙+아크 (Worst)

Best인 트랙+줌인에서 보다 선명한 NeRF 렌더링 결과를 보실 수 있습니다.

서울 올림픽 공원 엄지손가락 (실외, 근경+원경)

트랙+아크 (Best) vs 트랙 (Worst)

Best인 트랙+아크의 뒤 나무를 보시면 원경인 배경에서 NeRF 렌더링 차이를 확연히 보실 수 있습니다.

이미지와 동영상 fps 비교 Best vs Worst

트레비 분수 (실내, 근경)

정지 영상 (40장 학습) vs 10 fps (200장 학습)

서울 올림픽 공원 엄지손가락 (실외, 근경+원경)

10 fps (400장 학습) (Best) vs 정지 영상 (80장 학습) (Worst)

Best인 10 fps의 아래 얇은 라인을 보시면 확연한 차이를 보실 수 있습니다.

서울 잠실 트레비 분수의 NeRF 렌더링 동영상입니다.

본 논문의 실험 결과 트레비 분수의 Best 샷으로 학습하여 NeRF 렌더링 한 결과입니다.

서울 올림픽 공원 엄지손가락의 NeRF 렌더링 동영상입니다.

본 논문의 실험 결과 엄지손가락의 Best 샷으로 학습하여 NeRF 렌더링 한 결과입니다.

NeRF 배경 장면 제작을 위한 최적의 카메라 궤적

BibTeX

BibTex Code Here