Ragionamento multimodale progressivo tramite recupero attivo

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

Autori: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Abstract

Le attività di ragionamento multimodale a più passaggi pongono significativi sfide per i modelli di linguaggio multimodali su larga scala (MLLMs), e trovare modi efficaci per migliorare le loro prestazioni in tali scenari rimane una questione irrisolta. In questo articolo, proponiamo AR-MCTS, un framework universale progettato per migliorare progressivamente le capacità di ragionamento dei MLLMs attraverso il Recupero Attivo (AR) e la Ricerca ad Albero di Monte Carlo (MCTS). Il nostro approccio inizia con lo sviluppo di un modulo di recupero unificato che recupera informazioni chiave di supporto per risolvere problemi complessi di ragionamento da un corpus di recupero ibrido-modale. Per colmare il divario nella verifica automatizzata del ragionamento multimodale, impieghiamo l'algoritmo MCTS combinato con un meccanismo di recupero attivo, che consente la generazione automatica di annotazioni passo dopo passo. Questa strategia recupera dinamicamente informazioni chiave per ciascun passaggio di ragionamento, andando oltre il campionamento tradizionale di ricerca a fascio per migliorare la diversità e l'affidabilità dello spazio di ragionamento. Inoltre, introduciamo un modello di ricompensa del processo che si allinea progressivamente per supportare la verifica automatica delle attività di ragionamento multimodale. I risultati sperimentali su tre complessi benchmark di ragionamento multimodale confermano l'efficacia del framework AR-MCTS nel migliorare le prestazioni di vari modelli multimodali. Ulteriori analisi dimostrano che AR-MCTS può ottimizzare la diversità e l'accuratezza del campionamento, producendo un ragionamento multimodale affidabile.

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.