M-Longdoc: Een benchmark voor multimodale superlange documentbegrip en een afstemmingskader met oog voor informatieopvraging.

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Auteurs: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Samenvatting

De mogelijkheid om vragen over documenten te begrijpen en te beantwoorden kan nuttig zijn in veel zakelijke en praktische toepassingen. Documenten bevatten echter vaak uitgebreide en diverse multimodale inhoud zoals tekst, figuren en tabellen, die zeer tijdrovend zijn voor mensen om grondig te lezen. Daarom is er een dringende behoefte om effectieve en geautomatiseerde methoden te ontwikkelen om mensen te helpen bij deze taak. In dit werk introduceren we M-LongDoc, een benchmark van 851 voorbeelden, en een geautomatiseerd kader om de prestaties van grote multimodale modellen te evalueren. We stellen verder een opvraagbewuste afstemmingsaanpak voor voor efficiënt en effectief multimodaal documentlezen. In vergelijking met bestaande werken bestaat onze benchmark uit recentere en langere documenten met honderden pagina's, waarbij ook open-end oplossingen vereist zijn en niet alleen extractieve antwoorden. Voor zover wij weten, is ons trainingskader de eerste die rechtstreeks de opvraaginstelling voor multimodale lange documenten aanpakt. Om afstemming van open-source modellen mogelijk te maken, construeren we op volledig automatische wijze een trainingscorpus voor de vraag-antwoordtaak over dergelijke documenten. Experimenten tonen aan dat onze afstemmingsaanpak een relatieve verbetering van 4,6% behaalt voor de juistheid van modelreacties, in vergelijking met de basis open-source modellen. Onze gegevens, code en modellen zijn beschikbaar op https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.