AIM 2024 희소 신경 렌더링 챌린지: 데이터셋 및 벤치마크

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

저자: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

초록

최근의 미분 가능 및 신경 렌더링 기술의 발전은 새로운 시각 합성, 3D 재구성 등 다양한 2D 및 3D 작업에서 놀라운 진전을 이루었습니다. 일반적으로 미분 가능 렌더링은 장면의 밀도 높은 시점 커버리지에 의존하여 기하학적 구조를 외관 관측만으로 명확히 할 수 있습니다. 그러나 입력 뷰가 적을 때 여러 어려움이 발생하며 이를 희소 또는 희소 샷 신경 렌더링이라고 합니다. 이는 불충분한 제약 조건으로, 대부분의 기존 접근 방식은 정규화의 사용을 도입하고 학습 및 수동으로 만든 사전의 다양성과 함께 사용합니다. 희소 렌더링 문헌에서 반복되는 문제는 동질적이고 최신의 데이터셋 및 평가 프로토콜의 부재입니다. 밀도 높은 재구성 문헌에서 고해상도 데이터셋이 표준이지만, 희소 렌더링 방법은 종종 저해상도 이미지로 평가합니다. 또한 데이터 분할은 다른 논문 간에 일관성이 없으며, 테스트의 실제 이미지는 공개적으로 사용 가능하여 과적합을 유발할 수 있습니다. 본 연구에서는 Sparse Rendering (SpaRe) 데이터셋과 벤치마크를 제안합니다. 우리는 DTU MVS 데이터셋의 설정을 따르는 새로운 데이터셋을 소개합니다. 이 데이터셋은 합성된 고품질 에셋을 기반으로 한 97개의 새로운 장면으로 구성되어 있습니다. 각 장면은 최대 64개의 카메라 뷰와 7개의 조명 구성을 가지며, 1600x1200 해상도로 렌더링되었습니다. 우리는 82개의 장면으로 구성된 훈련 분할을 공개하여 일반화 가능한 접근 방식을 촉진하고, 검증 및 테스트 세트를 위한 온라인 평가 플랫폼을 제공하였습니다. 이들의 실제 이미지는 숨겨져 있습니다. 우리는 각각 3개 및 9개의 입력 이미지로 구성된 두 가지 다른 희소 구성을 제안합니다. 이는 재현 가능한 평가를 위한 강력하고 편리한 도구를 제공하며, 연구자들이 최신 성능 점수를 갖춘 공개 리더보드에 쉽게 접근할 수 있도록 합니다. 이용 가능한 링크: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/