3Dにおける非一般的なオブジェクト

UnCommon Objects in 3D

January 13, 2025

著者: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

要旨

3Dディープラーニングと3D生成AI向けの新しいオブジェクト中心のデータセットであるUncommon Objects in 3D（uCO3D）を紹介します。uCO3Dは、360度の全方位カバレッジを確保する3D注釈付きオブジェクトの高解像度ビデオの最大の公開コレクションです。uCO3Dは、MVImgNetやCO3Dv2よりもはるかに多様であり、1,000以上のオブジェクトカテゴリをカバーしています。収集されたビデオと3D注釈の両方に広範な品質チェックが行われているため、品質も高いです。類似したデータセットと同様に、uCO3Dには3Dカメラポーズ、深度マップ、疎な点群の注釈が含まれています。さらに、各オブジェクトにはキャプションと3Dガウススプラット再構築が付属しています。MVImgNet、CO3Dv2、およびuCO3Dでいくつかの大規模な3Dモデルをトレーニングし、後者を使用することで優れた結果を得ました。これにより、学習アプリケーションにおいてuCO3Dがより適していることが示されました。

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.