M-Longdoc: un benchmark per la comprensione di documenti super lunghi multimodali e un framework di ottimizzazione consapevole del recupero

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Autori: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Abstract

La capacità di comprendere e rispondere a domande su documenti può essere utile in molte applicazioni aziendali e pratiche. Tuttavia, i documenti spesso contengono contenuti multimodali lunghi e diversificati come testi, figure e tabelle, che richiedono molto tempo agli esseri umani per essere letti attentamente. Pertanto, c'è un urgente bisogno di sviluppare metodi efficaci e automatizzati per aiutare gli esseri umani in questo compito. In questo lavoro, presentiamo M-LongDoc, un benchmark di 851 campioni, e un framework automatizzato per valutare le prestazioni di modelli multimodali di grandi dimensioni. Proponiamo inoltre un approccio di taratura consapevole del recupero per la lettura efficiente ed efficace di documenti multimodali. Rispetto ai lavori esistenti, il nostro benchmark è costituito da documenti più recenti e lunghi con centinaia di pagine, richiedendo anche soluzioni aperte e non solo risposte estrattive. Al meglio delle nostre conoscenze, il nostro framework di addestramento è il primo a affrontare direttamente l'impostazione di recupero per documenti multimodali lunghi. Per consentire la taratura dei modelli open-source, costruiamo un corpus di addestramento in modo completamente automatico per il compito di domanda-risposta su tali documenti. Gli esperimenti mostrano che il nostro approccio di taratura raggiunge un miglioramento relativo del 4,6% per la correttezza delle risposte del modello, rispetto ai modelli open-source di base. I nostri dati, codice e modelli sono disponibili su https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.