VisuoThink: Potenziare il Ragionamento LVLM con la Ricerca ad Albero Multimodale

VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search

April 12, 2025

Autori: Yikun Wang, Siyin Wang, Qinyuan Cheng, Zhaoye Fei, Liang Ding, Qipeng Guo, Dacheng Tao, Xipeng Qiu

cs.AI

Abstract

I recenti progressi nei Modelli Linguistico-Visuali di Grande Scala hanno dimostrato capacità notevoli. Tuttavia, spesso incontrano difficoltà quando si confrontano con compiti di ragionamento complesso che gli esseri umani tipicamente affrontano attraverso ausili visivi e un pensiero deliberato e graduale. Sebbene i metodi esistenti abbiano esplorato il pensiero lento basato sul testo o un'assistenza visiva rudimentale, non riescono a cogliere la natura intricata e interconnessa dei processi di ragionamento visivo-verbale umani. Per superare queste limitazioni e ispirati dai meccanismi del pensiero lento nella cognizione umana, introduciamo VisuoThink, un nuovo framework che integra in modo fluido i domini visuo-spaziali e linguistici. VisuoThink facilita il pensiero lento multimodale consentendo un ragionamento visivo-testuale progressivo e incorpora il ridimensionamento al momento del test attraverso una ricerca ad albero con anticipazione. Esperimenti estensivi dimostrano che VisuoThink migliora significativamente le capacità di ragionamento attraverso il ridimensionamento al momento dell'inferenza, anche senza fine-tuning, raggiungendo prestazioni all'avanguardia in compiti che coinvolgono la geometria e il ragionamento spaziale.

English

Recent advancements in Large Vision-Language Models have showcased remarkable capabilities. However, they often falter when confronted with complex reasoning tasks that humans typically address through visual aids and deliberate, step-by-step thinking. While existing methods have explored text-based slow thinking or rudimentary visual assistance, they fall short of capturing the intricate, interleaved nature of human visual-verbal reasoning processes. To overcome these limitations and inspired by the mechanisms of slow thinking in human cognition, we introduce VisuoThink, a novel framework that seamlessly integrates visuospatial and linguistic domains. VisuoThink facilitates multimodal slow thinking by enabling progressive visual-textual reasoning and incorporates test-time scaling through look-ahead tree search. Extensive experiments demonstrate that VisuoThink significantly enhances reasoning capabilities via inference-time scaling, even without fine-tuning, achieving state-of-the-art performance in tasks involving geometry and spatial reasoning.