ARKit LabelMaker: Eine neue Skala für das Verständnis von 3D-Szenen in Innenräumen

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

Autoren: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

Zusammenfassung

Die Leistung von neuronalen Netzwerken skaliert sowohl mit ihrer Größe als auch mit der Menge an Daten, auf denen sie trainiert wurden. Dies zeigt sich sowohl bei der Sprach- als auch bei der Bildgenerierung. Dies erfordert jedoch skalierbare Netzwerkarchitekturen sowie umfangreiche Datensätze. Obwohl skalierbare Architekturen wie Transformer für 3D-Vision-Aufgaben aufgetaucht sind, bleibt der GPT-Moment der 3D-Vision aufgrund des Mangels an Trainingsdaten in der Ferne. In diesem Paper stellen wir ARKit LabelMaker vor, den ersten groß angelegten, realen 3D-Datensatz mit dichten semantischen Annotationen. Speziell ergänzen wir den ARKitScenes-Datensatz um dichte semantische Annotationen, die automatisch im großen Maßstab generiert werden. Zu diesem Zweck erweitern wir LabelMaker, eine kürzlich entwickelte automatische Annotationspipeline, um den Anforderungen des groß angelegten Pre-Trainings gerecht zu werden. Dies beinhaltet die Erweiterung der Pipeline mit modernsten Segmentierungsmodellen sowie deren Robustheit gegenüber den Herausforderungen der groß angelegten Verarbeitung. Darüber hinaus verbessern wir die Leistung auf dem ScanNet- und ScanNet200-Datensatz mit gängigen 3D-semantischen Segmentierungsmodellen und zeigen die Wirksamkeit unseres generierten Datensatzes.

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.