OpenCity3D: Cosa sanno i modelli visione-linguaggio sugli ambienti urbani?

OpenCity3D: What do Vision-Language Models know about Urban Environments?

March 21, 2025

Autori: Valentin Bieri, Marco Zamboni, Nicolas S. Blumer, Qingxuan Chen, Francis Engelmann

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) dimostrano un grande potenziale per la comprensione delle scene 3D, ma sono principalmente applicati a spazi interni o alla guida autonoma, concentrandosi su compiti di basso livello come la segmentazione. Questo lavoro estende il loro utilizzo a ambienti su scala urbana sfruttando ricostruzioni 3D da immagini aeree multi-vista. Proponiamo OpenCity3D, un approccio che affronta compiti di alto livello, come la stima della densità di popolazione, la classificazione dell'età degli edifici, la previsione del prezzo degli immobili, la valutazione del tasso di criminalità e l'analisi dell'inquinamento acustico. I nostri risultati evidenziano le impressionanti capacità zero-shot e few-shot di OpenCity3D, dimostrando adattabilità a nuovi contesti. Questa ricerca stabilisce un nuovo paradigma per l'analisi urbana guidata dal linguaggio, abilitando applicazioni nella pianificazione, nelle politiche e nel monitoraggio ambientale. Visita la nostra pagina del progetto: opencity3d.github.io

English

Vision-language models (VLMs) show great promise for 3D scene understanding but are mainly applied to indoor spaces or autonomous driving, focusing on low-level tasks like segmentation. This work expands their use to urban-scale environments by leveraging 3D reconstructions from multi-view aerial imagery. We propose OpenCity3D, an approach that addresses high-level tasks, such as population density estimation, building age classification, property price prediction, crime rate assessment, and noise pollution evaluation. Our findings highlight OpenCity3D's impressive zero-shot and few-shot capabilities, showcasing adaptability to new contexts. This research establishes a new paradigm for language-driven urban analytics, enabling applications in planning, policy, and environmental monitoring. See our project page: opencity3d.github.io