Critic-V: I critici VLM aiutano a individuare gli errori di VLM nella ragionamento multimodale
Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning
November 27, 2024
Autori: Di Zhang, Jingdi Lei, Junxian Li, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou
cs.AI
Abstract
I modelli visione-linguaggio (VLM) hanno mostrato notevoli progressi nei compiti di ragionamento multimodale. Tuttavia, spesso generano risposte inaccurate o non pertinenti a causa di problemi come comprensioni immaginarie delle immagini o percorsi di ragionamento non raffinati. Per affrontare queste sfide, presentiamo Critic-V, un nuovo framework ispirato al paradigma Attore-Critico per potenziare la capacità di ragionamento dei VLM. Questo framework separa il processo di ragionamento dal processo critico integrando due componenti indipendenti: il Ragionatore, che genera percorsi di ragionamento basati su input visivi e testuali, e il Critico, che fornisce critiche costruttive per perfezionare questi percorsi. In questo approccio, il Ragionatore genera risposte di ragionamento in base a prompt testuali, che possono evolversi iterativamente come politica basata sul feedback del Critico. Questo processo di interazione è teoricamente guidato da un framework di apprendimento per rinforzo in cui il Critico offre critiche in linguaggio naturale invece di ricompense scalari, consentendo un feedback più sfumato per potenziare la capacità del Ragionatore in compiti di ragionamento complessi. Il modello Critico è addestrato utilizzando l'ottimizzazione delle preferenze dirette (DPO), sfruttando un dataset di preferenze di critiche classificate da Ricompensa Basata su Regole (RBR) per potenziare le sue capacità critiche. I risultati dell'valutazione mostrano che il framework Critic-V supera significativamente i metodi esistenti, inclusi GPT-4V, su 5 su 8 benchmark, in particolare per quanto riguarda l'accuratezza e l'efficienza del ragionamento. Combinare una politica dinamica basata su testo per il Ragionatore e un feedback costruttivo dal Critico ottimizzato per le preferenze consente un processo di ragionamento multimodale più affidabile e sensibile al contesto. Il nostro approccio fornisce una soluzione promettente per migliorare l'affidabilità dei VLM, potenziando le loro prestazioni in applicazioni multimodali del mondo reale che richiedono un ragionamento intenso, come la guida autonoma e l'intelligenza incorporata.
English
Vision-language models~(VLMs) have shown remarkable advancements in
multimodal reasoning tasks. However, they still often generate inaccurate or
irrelevant responses due to issues like hallucinated image understandings or
unrefined reasoning paths. To address these challenges, we introduce Critic-V,
a novel framework inspired by the Actor-Critic paradigm to boost the reasoning
capability of VLMs. This framework decouples the reasoning process and critic
process by integrating two independent components: the Reasoner, which
generates reasoning paths based on visual and textual inputs, and the Critic,
which provides constructive critique to refine these paths. In this approach,
the Reasoner generates reasoning responses according to text prompts, which can
evolve iteratively as a policy based on feedback from the Critic. This
interaction process was theoretically driven by a reinforcement learning
framework where the Critic offers natural language critiques instead of scalar
rewards, enabling more nuanced feedback to boost the Reasoner's capability on
complex reasoning tasks. The Critic model is trained using Direct Preference
Optimization (DPO), leveraging a preference dataset of critiques ranked by
Rule-based Reward(RBR) to enhance its critic capabilities. Evaluation results
show that the Critic-V framework significantly outperforms existing methods,
including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning
accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner
and constructive feedback from the preference-optimized Critic enables a more
reliable and context-sensitive multimodal reasoning process. Our approach
provides a promising solution to enhance the reliability of VLMs, improving
their performance in real-world reasoning-heavy multimodal applications such as
autonomous driving and embodied intelligence.Summary
AI-Generated Summary