3D에서 어떤 부분이든 찾기

Find Any Part in 3D

November 20, 2024

저자: Ziqi Ma, Yisong Yue, Georgia Gkioxari

cs.AI

초록

3D에서 오픈 월드 부분 분할을 연구합니다: 어떤 텍스트 쿼리를 기반으로 어떤 객체의 어떤 부분도 분할합니다. 이전 방법들은 객체 범주와 부분 어휘에 제한이 있습니다. AI의 최근 발전은 2D에서 효과적인 오픈 월드 인식 능력을 증명했습니다. 이 발전을 영감으로 삼아, 우리는 어떤 객체에도 제로샷으로 적용할 수 있는 3D 부분 분할을 위한 오픈 월드, 직접 예측 모델을 제안합니다. Find3D라는 우리의 접근 방식은 어떤 인간 주석도 없이 인터넷의 대규모 3D 자산에서 일반 범주의 포인트 임베딩 모델을 훈련합니다. 이는 데이터를 주석 달기 위한 기초 모델에 의해 구동되는 데이터 엔진과 대조적인 훈련 방법을 결합합니다. 우리는 다중 데이터셋에서 강력한 성능과 일반화를 달성하며, 다음으로 최고의 방법에 비해 mIoU에서 최대 3배의 개선을 이룩합니다. 우리의 모델은 기존 베이스라인보다 6배에서 300배 이상 빠릅니다. 일반 범주의 오픈 월드 3D 부분 분할 연구를 촉진하기 위해 일반 객체 및 부분을 위한 벤치마크도 공개합니다. 프로젝트 웹사이트: https://ziqi-ma.github.io/find3dsite/

English

We study open-world part segmentation in 3D: segmenting any part in any object based on any text query. Prior methods are limited in object categories and part vocabularies. Recent advances in AI have demonstrated effective open-world recognition capabilities in 2D. Inspired by this progress, we propose an open-world, direct-prediction model for 3D part segmentation that can be applied zero-shot to any object. Our approach, called Find3D, trains a general-category point embedding model on large-scale 3D assets from the internet without any human annotation. It combines a data engine, powered by foundation models for annotating data, with a contrastive training method. We achieve strong performance and generalization across multiple datasets, with up to a 3x improvement in mIoU over the next best method. Our model is 6x to over 300x faster than existing baselines. To encourage research in general-category open-world 3D part segmentation, we also release a benchmark for general objects and parts. Project website: https://ziqi-ma.github.io/find3dsite/