MMDocIR: Valutazione delle prestazioni del recupero multi-modale per documenti lunghi

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

Autori: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

Abstract

Il recupero di documenti multimodali è progettato per identificare e recuperare varie forme di contenuti multimodali, come figure, tabelle, grafici e informazioni di layout da documenti estesi. Nonostante la sua importanza, manca notevolmente un robusto benchmark per valutare efficacemente le prestazioni dei sistemi nel recupero di documenti multimodali. Per affrontare questa lacuna, questo lavoro introduce un nuovo benchmark, chiamato MMDocIR, che comprende due compiti distinti: il recupero a livello di pagina e a livello di layout. Il primo si concentra sulla localizzazione delle pagine più rilevanti all'interno di un lungo documento, mentre il secondo mira alla rilevazione di layout specifici, offrendo una granularità più dettagliata rispetto all'analisi dell'intera pagina. Un layout può fare riferimento a una varietà di elementi come paragrafi di testo, equazioni, figure, tabelle o grafici. Il benchmark MMDocIR comprende un ricco dataset con etichette annotate da esperti per 1.685 domande e etichette bootstrap per 173.843 domande, rendendolo una risorsa fondamentale per far progredire il recupero di documenti multimodali sia per la formazione che per la valutazione. Attraverso esperimenti rigorosi, riveliamo che (i) i recuperatori visivi superano significativamente i loro corrispettivi testuali, (ii) il set di allenamento di MMDocIR può beneficiare efficacemente il processo di formazione del recupero di documenti multimodali e (iii) i recuperatori di testo che sfruttano il VLM-text si comportano molto meglio di quelli che utilizzano l'OCR-text. Queste scoperte sottolineano i potenziali vantaggi dell'integrazione di elementi visivi per il recupero di documenti multimodali.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.