Any6D: Stima della posa 6D senza modello per oggetti nuovi

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

Autori: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

Abstract

Presentiamo Any6D, un framework senza modello per la stima della posa 6D di oggetti che richiede solo un'immagine RGB-D di ancoraggio per stimare sia la posa 6D che le dimensioni di oggetti sconosciuti in scene nuove. A differenza dei metodi esistenti che si basano su modelli 3D texturizzati o su più punti di vista, Any6D sfrutta un processo di allineamento congiunto degli oggetti per migliorare l'allineamento 2D-3D e la stima della scala metrica, ottenendo una maggiore precisione nella stima della posa. Il nostro approccio integra una strategia di render-and-compare per generare e affinare ipotesi di posa, garantendo prestazioni robuste in scenari con occlusioni, viste non sovrapposte, condizioni di illuminazione diverse e grandi variazioni tra ambienti. Valutiamo il nostro metodo su cinque dataset impegnativi: REAL275, Toyota-Light, HO3D, YCBINEOAT e LM-O, dimostrando la sua efficacia nel superare significativamente i metodi all'avanguardia per la stima della posa di oggetti nuovi. Pagina del progetto: https://taeyeop.com/any6d

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d