ARKit LabelMaker: Een Nieuwe Schaal voor Begrip van 3D Binnenomgevingen

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

Auteurs: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

Samenvatting

De prestaties van neurale netwerken schalen met zowel hun omvang als de hoeveelheid data waarop ze zijn getraind. Dit wordt aangetoond bij zowel taal- als beeldgeneratie. Dit vereist echter netwerkarchitecturen die geschikt zijn voor schaalvergroting, evenals grootschalige datasets. Hoewel schaalvriendelijke architecturen zoals transformers zijn opgedoken voor 3D-zichttaken, blijft het GPT-moment van 3D-zicht ver weg door het gebrek aan trainingsdata. In dit artikel introduceren we ARKit LabelMaker, de eerste grootschalige, real-world 3D-dataset met dichte semantische annotaties. Specifiek vullen we het ARKitScenes-dataset aan met dichte semantische annotaties die op schaal automatisch worden gegenereerd. Hiervoor breiden we LabelMaker uit, een recente automatische annotatie-pijplijn, om te voldoen aan de behoeften van grootschalige voorafgaande training. Dit omvat het uitbreiden van de pijplijn met geavanceerde segmentatiemodellen en het robuust maken ervan tegen de uitdagingen van grootschalige verwerking. Verder verbeteren we de state-of-the-art prestaties op de ScanNet en ScanNet200 dataset met gangbare 3D semantische segmentatiemodellen, waarbij we de doeltreffendheid van onze gegenereerde dataset aantonen.

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.