MMDocIR: Benchmarken van Multi-Modale Zoekopdrachten voor Lange Documenten

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

Auteurs: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

Samenvatting

Multi-modale documentopvraging is ontworpen om verschillende vormen van multi-modale inhoud te identificeren en op te halen, zoals afbeeldingen, tabellen, grafieken en lay-outinformatie uit uitgebreide documenten. Ondanks het belang ervan is er een opmerkelijk gebrek aan een robuuste benchmark om de prestaties van systemen in multi-modale documentopvraging effectief te evalueren. Om deze lacune aan te pakken, introduceert dit werk een nieuwe benchmark, genaamd MMDocIR, die twee verschillende taken omvat: opvraging op paginaniveau en opvraging op lay-outniveau. De eerste richt zich op het lokaliseren van de meest relevante pagina's binnen een lang document, terwijl de laatste zich richt op de detectie van specifieke lay-outs, met een fijnere granulariteit dan de analyse van hele pagina's. Een lay-out kan verwijzen naar verschillende elementen zoals tekstuele alinea's, vergelijkingen, afbeeldingen, tabellen of grafieken. De MMDocIR benchmark omvat een rijke dataset met deskundig geannoteerde labels voor 1.685 vragen en gebootstrapt gelabelde labels voor 173.843 vragen, waardoor het een essentiële bron is voor het bevorderen van multi-modale documentopvraging voor zowel training als evaluatie. Uit rigoureuze experimenten blijkt dat (i) visuele opvragers aanzienlijk beter presteren dan hun tekstuele tegenhangers, (ii) de MMDocIR-trainingsset effectief kan bijdragen aan het trainingsproces van multi-modale documentopvraging en (iii) tekstuele opvragers die gebruikmaken van VLM-tekst aanzienlijk beter presteren dan die welke OCR-tekst gebruiken. Deze bevindingen benadrukken de potentiële voordelen van het integreren van visuele elementen voor multi-modale documentopvraging.

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.