VisDoM: Domande e Risposte su Documenti Multipli con Elementi Visivamente Ricchi Utilizzando la Generazione Potenziata da Recupero Multimodale

VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation

December 14, 2024

Autori: Manan Suri, Puneet Mathur, Franck Dernoncourt, Kanika Goswami, Ryan A. Rossi, Dinesh Manocha

cs.AI

Abstract

Comprendere le informazioni da una collezione di documenti multipli, in particolare quelli con elementi visivamente ricchi, è importante per la risposta a domande basata sui documenti. Questo articolo introduce VisDoMBench, il primo benchmark completo progettato per valutare i sistemi di QA in contesti multi-documento con contenuti multimodali ricchi, inclusi tabelle, grafici e diapositive di presentazione. Proponiamo VisDoMRAG, un nuovo approccio di Recupero Aumentato Generativo (RAG) multimodale che utilizza simultaneamente il RAG visuale e testuale, combinando robuste capacità di recupero visivo con sofisticato ragionamento linguistico. VisDoMRAG impiega un processo di ragionamento a più passaggi che comprende la cura delle prove e il ragionamento a catena per pipeline RAG testuali e visive concorrenti. Una novità chiave di VisDoMRAG è il suo meccanismo di fusione modale vincolato alla coerenza, che allinea i processi di ragionamento tra modalità al momento dell'inferezza per produrre una risposta finale coerente. Ciò porta a un'accuratezza migliorata in scenari in cui le informazioni critiche sono distribuite tra le modalità e a un'ulteriore verificabilità delle risposte attraverso l'attribuzione implicita del contesto. Attraverso estesi esperimenti che coinvolgono modelli linguistici large open-source e proprietari, valutiamo i metodi di QA sui documenti all'avanguardia su VisDoMBench. I risultati estesi mostrano che VisDoMRAG supera i baselines LLM unimodali e a lungo contesto per il QA multimodale end-to-end dei documenti del 12-20%.

English

Understanding information from a collection of multiple documents, particularly those with visually rich elements, is important for document-grounded question answering. This paper introduces VisDoMBench, the first comprehensive benchmark designed to evaluate QA systems in multi-document settings with rich multimodal content, including tables, charts, and presentation slides. We propose VisDoMRAG, a novel multimodal Retrieval Augmented Generation (RAG) approach that simultaneously utilizes visual and textual RAG, combining robust visual retrieval capabilities with sophisticated linguistic reasoning. VisDoMRAG employs a multi-step reasoning process encompassing evidence curation and chain-of-thought reasoning for concurrent textual and visual RAG pipelines. A key novelty of VisDoMRAG is its consistency-constrained modality fusion mechanism, which aligns the reasoning processes across modalities at inference time to produce a coherent final answer. This leads to enhanced accuracy in scenarios where critical information is distributed across modalities and improved answer verifiability through implicit context attribution. Through extensive experiments involving open-source and proprietary large language models, we benchmark state-of-the-art document QA methods on VisDoMBench. Extensive results show that VisDoMRAG outperforms unimodal and long-context LLM baselines for end-to-end multimodal document QA by 12-20%.