실시간 뷰 합성을 위한 정확한 부피 타원체 렌더링: EVER

EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis

October 2, 2024

저자: Alexander Mai, Peter Hedman, George Kopanas, Dor Verbin, David Futschik, Qiangeng Xu, Falko Kuester, Jon Barron, Yinda Zhang

cs.AI

초록

저희는 실시간 미분 가능 방출 전용 체적 렌더링(Exact Volumetric Ellipsoid Rendering, EVER)을 제시합니다. 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)에 의한 래스터화 기반 접근과는 달리, 저희의 원시 기반 표현은 3D 가우시안 빌보드의 알파 합성이 아닌 정확한 체적 렌더링을 가능하게 합니다. 따라서 3DGS와 달리 저희의 공식은 팝핑 아티팩트와 시점에 따라 다른 밀도로 인한 문제를 겪지 않으면서도 NVIDIA RTX4090에서 720p에서 약 30 FPS의 프레임 속도를 달성합니다. 저희의 접근 방식은 광선 추적을 기반으로 하기 때문에 래스터화로는 어려운 초점 흐림과 카메라 왜곡(예: 피시아이 카메라로부터의 왜곡)과 같은 효과를 가능하게 합니다. 저희는 저희의 방법이 3DGS보다 블렌딩 문제가 적고, Zip-NeRF 데이터셋의 어려운 대규모 장면에서 실시간 기술 중 가장 날카로운 결과를 달성하는 등 3DGS 및 시점 일관성 렌더링에 대한 후속 연구보다 정확성이 높음을 보여줍니다.

English

We present Exact Volumetric Ellipsoid Rendering (EVER), a method for real-time differentiable emission-only volume rendering. Unlike recent rasterization based approach by 3D Gaussian Splatting (3DGS), our primitive based representation allows for exact volume rendering, rather than alpha compositing 3D Gaussian billboards. As such, unlike 3DGS our formulation does not suffer from popping artifacts and view dependent density, but still achieves frame rates of sim!30 FPS at 720p on an NVIDIA RTX4090. Since our approach is built upon ray tracing it enables effects such as defocus blur and camera distortion (e.g. such as from fisheye cameras), which are difficult to achieve by rasterization. We show that our method is more accurate with fewer blending issues than 3DGS and follow-up work on view-consistent rendering, especially on the challenging large-scale scenes from the Zip-NeRF dataset where it achieves sharpest results among real-time techniques.