MMDocIR：長文書のためのマルチモーダル検索のベンチマーク

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

January 15, 2025

著者: Kuicai Dong, Yujing Chang, Xin Deik Goh, Dexun Li, Ruiming Tang, Yong Liu

cs.AI

要旨

マルチモーダル文書検索は、図、表、チャート、およびレイアウト情報など、さまざまな形式のマルチモーダルコンテンツを広範囲の文書から特定して取得するよう設計されています。その重要性にもかかわらず、マルチモーダル文書検索システムのパフォーマンスを効果的に評価するための堅牢なベンチマークが不足していることが顕著です。この課題に対処するために、本研究では、ページレベルとレイアウトレベルの2つの異なるタスクを含む新しいベンチマーク「MMDocIR」を導入します。前者は、長い文書内で最も関連性の高いページを特定することに焦点を当てており、後者は特定のレイアウトを検出し、全ページ分析よりも細かい粒度を提供します。レイアウトは、テキスト段落、方程式、図、表、またはチャートなど、さまざまな要素を指す可能性があります。MMDocIRベンチマークには、1,685の質問に対する専門家による注釈付きラベルと、173,843の質問に対するブートストラップされたラベルを備えた豊富なデータセットが含まれており、トレーニングと評価の両方においてマルチモーダル文書検索の進歩に向けた重要なリソースとなっています。厳密な実験を通じて、(i) ビジュアルリトリーバーがテキストの対応物を大幅に上回ること、(ii) MMDocIRトレーニングセットがマルチモーダル文書検索のトレーニングプロセスに効果的に貢献すること、および(iii) VLM-textを活用するテキストリトリーバーがOCR-textを使用するものよりも優れたパフォーマンスを発揮することが明らかになりました。これらの知見は、ビジュアル要素をマルチモーダル文書検索に統合することの潜在的な利点を強調しています。

English

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.