M-Longdoc: Ein Benchmark für das multimodale Verstehen von sehr langen Dokumenten und ein auf Rückgewinnung ausgerichtetes Abstimmungsframework

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Autoren: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Zusammenfassung

Die Fähigkeit, Fragen über Dokumente zu verstehen und zu beantworten, kann in vielen geschäftlichen und praktischen Anwendungen nützlich sein. Dokumente enthalten jedoch oft umfangreiche und vielfältige multimodale Inhalte wie Texte, Abbildungen und Tabellen, die für Menschen sehr zeitaufwändig sind, um sie gründlich zu lesen. Daher besteht ein dringender Bedarf, effektive und automatisierte Methoden zu entwickeln, um Menschen bei dieser Aufgabe zu unterstützen. In dieser Arbeit stellen wir M-LongDoc vor, einen Benchmark von 851 Beispielen, und ein automatisiertes Framework zur Bewertung der Leistung großer multimodaler Modelle. Wir schlagen außerdem einen Retrieval-bewussten Abstimmungsansatz für effizientes und effektives multimodales Dokumentenlesen vor. Im Vergleich zu bestehenden Arbeiten besteht unser Benchmark aus neueren und umfangreicheren Dokumenten mit Hunderten von Seiten, die auch offene Lösungen erfordern und nicht nur extraktive Antworten. Unser Schulungsframework ist unseres Wissens nach das erste, das sich direkt auf die Abrufumgebung für multimodale lange Dokumente konzentriert. Um die Abstimmung von Open-Source-Modellen zu ermöglichen, erstellen wir auf vollautomatische Weise einen Trainingskorpus für die Frage-Antwort-Aufgabe über solche Dokumente. Experimente zeigen, dass unser Abstimmungsansatz eine relative Verbesserung von 4,6% für die Korrektheit der Modellantworten im Vergleich zu den Baseline-Open-Source-Modellen erreicht. Unsere Daten, der Code und die Modelle sind unter https://multimodal-documents.github.io verfügbar.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.