3D에서의 희귀한 물체들

UnCommon Objects in 3D

January 13, 2025

저자: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

초록

우리는 3D 딥 러닝과 3D 생성 인공지능을 위한 새로운 객체 중심 데이터 세트인 Uncommon Objects in 3D (uCO3D)를 소개합니다. uCO3D는 전체 360도를 보장하는 3D 주석이 달린 객체의 고해상도 비디오의 가장 큰 공개 데이터 세트입니다. uCO3D는 MVImgNet과 CO3Dv2보다 훨씬 다양하며, 1,000개 이상의 객체 범주를 포함합니다. 수집된 비디오와 3D 주석의 철저한 품질 점검으로 인해 uCO3D는 품질이 더 높습니다. 유사한 데이터 세트와 마찬가지로, uCO3D에는 3D 카메라 포즈, 깊이 맵 및 희소한 포인트 클라우드에 대한 주석이 포함되어 있습니다. 게다가, 각 객체는 캡션과 3D 가우시안 스플랫 재구성이 함께 제공됩니다. 우리는 MVImgNet, CO3Dv2 및 uCO3D에서 여러 대형 3D 모델을 훈련시키고 후자를 사용하여 우수한 결과를 얻었습니다. 이를 통해 uCO3D가 학습 응용 프로그램에 더 적합하다는 것을 보여줍니다.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.