Ungewöhnliche Objekte in 3D

UnCommon Objects in 3D

January 13, 2025

Autoren: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

Zusammenfassung

Wir stellen Uncommon Objects in 3D (uCO3D) vor, ein neuer objektorientierter Datensatz für 3D-Tiefenlernen und 3D-generative KI. uCO3D ist die größte öffentlich verfügbare Sammlung von hochauflösenden Videos von Objekten mit 3D-Annotationen, die eine vollständige 360-Grad-Abdeckung gewährleisten. uCO3D ist signifikant vielfältiger als MVImgNet und CO3Dv2 und umfasst mehr als 1.000 Objektkategorien. Zudem zeichnet er sich durch eine höhere Qualität aus, aufgrund umfangreicher Qualitätskontrollen sowohl der gesammelten Videos als auch der 3D-Annotationen. Ähnlich wie analoge Datensätze enthält uCO3D Annotationen für 3D-Kamerapositionen, Tiefenkarten und spärliche Punktewolken. Darüber hinaus ist jedes Objekt mit einer Bildunterschrift und einer 3D-Gauß'schen Splat-Rekonstruktion ausgestattet. Wir trainieren mehrere große 3D-Modelle auf MVImgNet, CO3Dv2 und uCO3D und erzielen überlegene Ergebnisse mit letzterem, was zeigt, dass uCO3D besser für Lernanwendungen geeignet ist.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.