MonoPlace3D: Apprendimento del Posizionamento 3D-Consapevole per il Rilevamento Monoculare 3D

MonoPlace3D: Learning 3D-Aware Object Placement for 3D Monocular Detection

April 9, 2025

Autori: Rishubh Parihar, Srinjay Sarkar, Sarthak Vora, Jogendra Kundu, R. Venkatesh Babu

cs.AI

Abstract

Gli attuali rilevatori 3D monoculari sono limitati dalla diversità e scala ridotte dei dataset del mondo reale. Sebbene l'aumento dei dati sia certamente utile, è particolarmente difficile generare dati aumentati realistici e consapevoli della scena per ambienti esterni. La maggior parte degli approcci attuali alla generazione di dati sintetici si concentra sull'aspetto realistico degli oggetti attraverso tecniche di rendering migliorate. Tuttavia, dimostriamo che dove e come gli oggetti sono posizionati è altrettanto cruciale per addestrare efficacemente i rilevatori 3D monoculari. L'ostacolo principale risiede nel determinare automaticamente parametri realistici di posizionamento degli oggetti - inclusi posizione, dimensioni e allineamento direzionale - quando si introducono oggetti sintetici in scene reali. Per affrontare questo problema, introduciamo MonoPlace3D, un sistema innovativo che considera il contenuto 3D della scena per creare aumentazioni realistiche. Nello specifico, data una scena di sfondo, MonoPlace3D apprende una distribuzione su box di delimitazione 3D plausibili. Successivamente, rendiamo oggetti realistici e li posizioniamo in base alle località campionate dalla distribuzione appresa. La nostra valutazione completa su due dataset standard, KITTI e NuScenes, dimostra che MonoPlace3D migliora significativamente l'accuratezza di numerosi rilevatori 3D monoculari esistenti, risultando altamente efficiente in termini di dati.

English

Current monocular 3D detectors are held back by the limited diversity and scale of real-world datasets. While data augmentation certainly helps, it's particularly difficult to generate realistic scene-aware augmented data for outdoor settings. Most current approaches to synthetic data generation focus on realistic object appearance through improved rendering techniques. However, we show that where and how objects are positioned is just as crucial for training effective 3D monocular detectors. The key obstacle lies in automatically determining realistic object placement parameters - including position, dimensions, and directional alignment when introducing synthetic objects into actual scenes. To address this, we introduce MonoPlace3D, a novel system that considers the 3D scene content to create realistic augmentations. Specifically, given a background scene, MonoPlace3D learns a distribution over plausible 3D bounding boxes. Subsequently, we render realistic objects and place them according to the locations sampled from the learned distribution. Our comprehensive evaluation on two standard datasets KITTI and NuScenes, demonstrates that MonoPlace3D significantly improves the accuracy of multiple existing monocular 3D detectors while being highly data efficient.