Raciocínio Multimodal Progressivo via Recuperação Ativa

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

Autores: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Resumo

Tarefas de raciocínio multimodal em vários passos representam desafios significativos para modelos de linguagem multimodal de grande escala (MLLMs), e encontrar maneiras eficazes de aprimorar seu desempenho nesses cenários permanece uma questão não resolvida. Neste artigo, propomos AR-MCTS, um framework universal projetado para melhorar progressivamente as capacidades de raciocínio dos MLLMs por meio de Recuperação Ativa (AR) e Busca em Árvore de Monte Carlo (MCTS). Nossa abordagem começa com o desenvolvimento de um módulo de recuperação unificado que recupera insights-chave de suporte para resolver problemas de raciocínio complexos a partir de um corpus de recuperação híbrido-modal. Para preencher a lacuna na verificação automatizada de raciocínio multimodal, empregamos o algoritmo MCTS combinado com um mecanismo de recuperação ativa, que permite a geração automática de anotações passo a passo. Essa estratégia recupera dinamicamente insights-chave para cada etapa de raciocínio, indo além da amostragem tradicional de busca em feixe para melhorar a diversidade e confiabilidade do espaço de raciocínio. Além disso, introduzimos um modelo de recompensa de processo que se alinha progressivamente para apoiar a verificação automática de tarefas de raciocínio multimodal. Resultados experimentais em três benchmarks complexos de raciocínio multimodal confirmam a eficácia do framework AR-MCTS em aprimorar o desempenho de vários modelos multimodais. Análises adicionais demonstram que o AR-MCTS pode otimizar a diversidade e precisão da amostragem, resultando em um raciocínio multimodal confiável.

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.