AuraFusion360: 참조 기반 360° 무한 장면 보정을 위한 증강된 보이지 않는 영역 정렬

초록

가상 현실부터 건축 시각화에 이르기까지 응용 프로그램에서 중요한 3차원 장면 보정은 기존 방법들이 360도 무제한 장면에서의 시야 일관성과 기하학적 정확성에 어려움을 겪고 있다. 우리는 고가의 객체 제거 및 구멍 메꾸기를 가능하게 하는 새로운 참조 기반 방법인 AuraFusion360을 제안한다. 저희 방법은 가우시안 스플래팅으로 표현된 3D 장면에서 (1) 정확한 가려짐 식별을 위한 깊이 인식된 보이지 않는 마스크 생성, (2) 추가 교육이 필요하지 않은 정확한 초기 지점 배치를 위한 Adaptive Guided Depth Diffusion, 그리고 (3) 다중 뷰 일관성을 위한 SDEdit 기반 세부 향상을 도입한다. 또한 우리는 360도 무제한 장면 보정을 위한 첫 번째 종합 데이터셋인 360-USID를 소개한다. 광범위한 실험 결과는 AuraFusion360이 기존 방법들을 크게 능가하며, 동적 시점 변화에 걸쳐 기하학적 정확성을 유지하면서 우수한 지각적 품질을 달성한다는 것을 입증한다. 비디오 결과 및 데이터셋은 https://kkennethwu.github.io/aurafusion360/에서 확인할 수 있다.

English

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.

AuraFusion360: 참조 기반 360° 무한 장면 보정을 위한 증강된 보이지 않는 영역 정렬

AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

초록

Summary

Support