Objetos Não Comuns em 3D

UnCommon Objects in 3D

January 13, 2025

Autores: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

Resumo

Apresentamos Objetos Não Comuns em 3D (uCO3D), um novo conjunto de dados centrado em objetos para aprendizado profundo em 3D e IA generativa em 3D. O uCO3D é a maior coleção publicamente disponível de vídeos de alta resolução de objetos com anotações em 3D que garantem cobertura completa de 360 graus. O uCO3D é significativamente mais diverso do que o MVImgNet e o CO3Dv2, abrangendo mais de 1.000 categorias de objetos. Além disso, possui uma qualidade superior, devido a extensas verificações de qualidade nos vídeos coletados e nas anotações em 3D. Semelhante a conjuntos de dados análogos, o uCO3D contém anotações para poses de câmera em 3D, mapas de profundidade e nuvens de pontos esparsas. Adicionalmente, cada objeto é acompanhado por uma legenda e uma reconstrução de Splat Gaussiano em 3D. Treinamos vários modelos 3D grandes no MVImgNet, CO3Dv2 e uCO3D e obtivemos resultados superiores usando este último, demonstrando que o uCO3D é melhor para aplicações de aprendizado.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.