MeshFleet: Gefilterter und annotierter 3D-Fahrzeugdatensatz für domänenspezifisches generatives Modellieren

MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling

March 18, 2025

Autoren: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons

cs.AI

Zusammenfassung

Generative Modelle haben in letzter Zeit bemerkenswerte Fortschritte im Bereich der 3D-Objekte erzielt. Ihre praktische Anwendung in Bereichen wie dem Ingenieurwesen bleibt jedoch begrenzt, da sie die für domänenspezifische Aufgaben erforderliche Genauigkeit, Qualität und Steuerbarkeit nicht liefern können. Das Feinabstimmen großer generativer Modelle stellt eine vielversprechende Perspektive dar, um diese Modelle in diesen Bereichen nutzbar zu machen. Die Erstellung hochwertiger, domänenspezifischer 3D-Datensätze ist entscheidend für das Feinabstimmen großer generativer Modelle, doch der Prozess der Datenfilterung und Annotation bleibt ein erheblicher Engpass. Wir präsentieren MeshFleet, einen gefilterten und annotierten 3D-Fahrzeugdatensatz, der aus Objaverse-XL, der umfangreichsten öffentlich verfügbaren Sammlung von 3D-Objekten, extrahiert wurde. Unser Ansatz schlägt eine Pipeline für die automatisierte Datenfilterung basierend auf einem Qualitätsklassifikator vor. Dieser Klassifikator wird auf einem manuell beschrifteten Teil von Objaverse trainiert, wobei DINOv2- und SigLIP-Einbettungen verwendet werden, die durch eine beschreibungsbasierte Analyse und Unsicherheitsschätzung verfeinert werden. Wir demonstrieren die Wirksamkeit unserer Filtermethode durch eine vergleichende Analyse gegenüber Techniken, die auf Beschreibungen und ästhetischen Bildbewertungen basieren, sowie durch Feinabstimmungsexperimente mit SV3D, und unterstreichen die Bedeutung einer gezielten Datenauswahl für die domänenspezifische 3D-Generierungsmodellierung.

English

Generative models have recently made remarkable progress in the field of 3D objects. However, their practical application in fields like engineering remains limited since they fail to deliver the accuracy, quality, and controllability needed for domain-specific tasks. Fine-tuning large generative models is a promising perspective for making these models available in these fields. Creating high-quality, domain-specific 3D datasets is crucial for fine-tuning large generative models, yet the data filtering and annotation process remains a significant bottleneck. We present MeshFleet, a filtered and annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive publicly available collection of 3D objects. Our approach proposes a pipeline for automated data filtering based on a quality classifier. This classifier is trained on a manually labeled subset of Objaverse, incorporating DINOv2 and SigLIP embeddings, refined through caption-based analysis and uncertainty estimation. We demonstrate the efficacy of our filtering method through a comparative analysis against caption and image aesthetic score-based techniques and fine-tuning experiments with SV3D, highlighting the importance of targeted data selection for domain-specific 3D generative modeling.