OpenCity3D: Was wissen Vision-Sprach-Modelle über urbane Umgebungen?

OpenCity3D: What do Vision-Language Models know about Urban Environments?

March 21, 2025

Autoren: Valentin Bieri, Marco Zamboni, Nicolas S. Blumer, Qingxuan Chen, Francis Engelmann

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) zeigen großes Potenzial für das Verständnis von 3D-Szenen, werden jedoch hauptsächlich in Innenräumen oder im Bereich des autonomen Fahrens eingesetzt, wobei der Fokus auf Low-Level-Aufgaben wie der Segmentierung liegt. Diese Arbeit erweitert ihren Einsatz auf städtische Umgebungen, indem 3D-Rekonstruktionen aus Multi-View-Luftbildern genutzt werden. Wir präsentieren OpenCity3D, einen Ansatz, der High-Level-Aufgaben wie die Schätzung der Bevölkerungsdichte, die Klassifizierung des Gebäudealters, die Vorhersage von Immobilienpreisen, die Bewertung der Kriminalitätsrate und die Einschätzung der Lärmbelastung adressiert. Unsere Ergebnisse unterstreichen die beeindruckenden Zero-Shot- und Few-Shot-Fähigkeiten von OpenCity3D und zeigen dessen Anpassungsfähigkeit an neue Kontexte. Diese Forschung etabliert ein neues Paradigma für sprachgestützte urbane Analysen und ermöglicht Anwendungen in den Bereichen Planung, Politik und Umweltüberwachung. Besuchen Sie unsere Projektseite: opencity3d.github.io.

English

Vision-language models (VLMs) show great promise for 3D scene understanding but are mainly applied to indoor spaces or autonomous driving, focusing on low-level tasks like segmentation. This work expands their use to urban-scale environments by leveraging 3D reconstructions from multi-view aerial imagery. We propose OpenCity3D, an approach that addresses high-level tasks, such as population density estimation, building age classification, property price prediction, crime rate assessment, and noise pollution evaluation. Our findings highlight OpenCity3D's impressive zero-shot and few-shot capabilities, showcasing adaptability to new contexts. This research establishes a new paradigm for language-driven urban analytics, enabling applications in planning, policy, and environmental monitoring. See our project page: opencity3d.github.io