MMDocIR: Avaliação de Referência para Recuperação Multimodal em Documentos Longos

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025
Autores: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu
cs.AI

Resumo

A recuperação de documentos multimodais é projetada para identificar e recuperar vários tipos de conteúdo multimodal, como figuras, tabelas, gráficos e informações de layout de documentos extensos. Apesar de sua importância, há uma notável falta de um benchmark robusto para avaliar efetivamente o desempenho de sistemas na recuperação de documentos multimodais. Para abordar essa lacuna, este trabalho apresenta um novo benchmark, chamado MMDocIR, que abrange duas tarefas distintas: recuperação em nível de página e em nível de layout. O primeiro foca na localização das páginas mais relevantes dentro de um documento longo, enquanto o segundo visa a detecção de layouts específicos, oferecendo uma granularidade mais refinada do que a análise de página inteira. Um layout pode se referir a uma variedade de elementos, como parágrafos textuais, equações, figuras, tabelas ou gráficos. O benchmark MMDocIR é composto por um conjunto de dados rico com rótulos anotados por especialistas para 1.685 perguntas e rótulos bootstrap para 173.843 perguntas, tornando-se um recurso fundamental para avançar na recuperação de documentos multimodais tanto para treinamento quanto para avaliação. Através de experimentos rigorosos, revelamos que (i) os recuperadores visuais superam significativamente seus equivalentes de texto, (ii) o conjunto de treinamento do MMDocIR pode beneficiar efetivamente o processo de treinamento da recuperação de documentos multimodais e (iii) os recuperadores de texto que se baseiam em VLM-texto têm um desempenho muito melhor do que aqueles que usam OCR-texto. Essas descobertas destacam as vantagens potenciais da integração de elementos visuais para a recuperação de documentos multimodais.
English
Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.

Summary

AI-Generated Summary

PDF262January 16, 2025