Critic-V: I critici VLM aiutano a individuare gli errori di VLM nella ragionamento multimodale

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

November 27, 2024
Autori: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou
cs.AI

Abstract

I modelli visione-linguaggio (VLM) hanno mostrato notevoli progressi nei compiti di ragionamento multimodale. Tuttavia, spesso generano risposte inaccurate o non pertinenti a causa di problemi come comprensioni immaginarie delle immagini o percorsi di ragionamento non raffinati. Per affrontare queste sfide, presentiamo Critic-V, un nuovo framework ispirato al paradigma Attore-Critico per potenziare la capacità di ragionamento dei VLM. Questo framework separa il processo di ragionamento dal processo critico integrando due componenti indipendenti: il Ragionatore, che genera percorsi di ragionamento basati su input visivi e testuali, e il Critico, che fornisce critiche costruttive per perfezionare questi percorsi. In questo approccio, il Ragionatore genera risposte di ragionamento in base a prompt testuali, che possono evolversi iterativamente come politica basata sul feedback del Critico. Questo processo di interazione è teoricamente guidato da un framework di apprendimento per rinforzo in cui il Critico offre critiche in linguaggio naturale invece di ricompense scalari, consentendo un feedback più sfumato per potenziare la capacità del Ragionatore in compiti di ragionamento complessi. Il modello Critico è addestrato utilizzando l'ottimizzazione delle preferenze dirette (DPO), sfruttando un dataset di preferenze di critiche classificate da Ricompensa Basata su Regole (RBR) per potenziare le sue capacità critiche. I risultati dell'valutazione mostrano che il framework Critic-V supera significativamente i metodi esistenti, inclusi GPT-4V, su 5 su 8 benchmark, in particolare per quanto riguarda l'accuratezza e l'efficienza del ragionamento. Combinare una politica dinamica basata su testo per il Ragionatore e un feedback costruttivo dal Critico ottimizzato per le preferenze consente un processo di ragionamento multimodale più affidabile e sensibile al contesto. Il nostro approccio fornisce una soluzione promettente per migliorare l'affidabilità dei VLM, potenziando le loro prestazioni in applicazioni multimodali del mondo reale che richiedono un ragionamento intenso, come la guida autonoma e l'intelligenza incorporata.
English
Vision-language models~(VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.

Summary

AI-Generated Summary

PDF342November 29, 2024