Pensare nello Spazio: Come i Modelli Linguistici Multimodali di Grandi Dimensioni Vedono, Ricordano e Richiamano gli Spazi

Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

December 18, 2024

Autori: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie

cs.AI

Abstract

Gli esseri umani possiedono l'intelligenza visivo-spaziale per ricordare spazi da osservazioni visive sequenziali. Tuttavia, possono i Modelli Linguistici Multimodali su Larga Scala (MLLMs) addestrati su dataset video di scala milionaria anche "pensare nello spazio" dai video? Presentiamo un nuovo benchmark di intelligenza visivo-spaziale basato su video (VSI-Bench) di oltre 5.000 coppie domanda-risposta e scopriamo che i MLLMs mostrano un'intelligenza visivo-spaziale competitiva - seppur subumana. Esaminiamo i modelli per capire come pensano nello spazio sia linguisticamente che visivamente e scopriamo che, sebbene le capacità di ragionamento spaziale rimangano il principale ostacolo per i MLLMs nel raggiungere prestazioni migliori nel benchmark, modelli locali del mondo e consapevolezza spaziale emergono all'interno di questi modelli. In particolare, le tecniche di ragionamento linguistico predominanti (ad esempio, catena di pensiero, autoconsistenza, albero dei pensieri) non riescono a migliorare le prestazioni, mentre la generazione esplicita di mappe cognitive durante la risposta alle domande potenzia la capacità di distanza spaziale dei MLLMs.

English

Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.