Cronache Visive: Utilizzo di Modelli Linguistici Multimodali per Analizzare Vaste Collezioni di Immagini

Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

April 11, 2025

Autori: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser

cs.AI

Abstract

Presentiamo un sistema che utilizza Modelli Linguistici Multimodali (MLLMs) per analizzare un ampio database contenente decine di milioni di immagini catturate in momenti diversi, con l'obiettivo di scoprire modelli nei cambiamenti temporali. Nello specifico, miriamo a catturare cambiamenti co-occorrenti frequenti ("tendenze") in una città durante un determinato periodo. A differenza delle precedenti analisi visive, la nostra analisi risponde a query aperte (ad esempio, "quali sono i tipi di cambiamenti frequenti nella città?") senza alcun soggetto target predeterminato o etichette di addestramento. Queste caratteristiche rendono inadatti gli strumenti di analisi visiva basati sull'apprendimento o non supervisionati esistenti. Identifichiamo gli MLLMs come uno strumento innovativo per le loro capacità di comprensione semantica aperta. Tuttavia, i nostri dataset sono quattro ordini di grandezza troppo grandi per essere ingeriti come contesto da un MLLM. Introduciamo quindi una procedura bottom-up che scompone il massiccio problema di analisi visiva in sottoproblemi più gestibili. Progettiamo attentamente soluzioni basate su MLLM per ciascun sottoproblema. Durante esperimenti e studi di ablazione con il nostro sistema, scopriamo che supera significativamente i baseline ed è in grado di scoprire tendenze interessanti da immagini catturate in grandi città (ad esempio, "aggiunta di ristorazione all'aperto", "il cavalcavia è stato dipinto di blu", ecc.). Consulta ulteriori risultati e demo interattive su https://boyangdeng.com/visual-chronicles.

English

We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.