M-Longdoc : Un référentiel pour la compréhension de documents super longs multimodaux et un cadre d'ajustement conscient de la recherche.

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Auteurs: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Résumé

La capacité de comprendre et de répondre à des questions sur des documents peut être utile dans de nombreuses applications commerciales et pratiques. Cependant, les documents contiennent souvent des contenus multimodaux longs et divers tels que des textes, des figures et des tableaux, qui sont très chronophages pour les humains à lire en détail. Par conséquent, il est urgent de développer des méthodes efficaces et automatisées pour aider les humains dans cette tâche. Dans ce travail, nous introduisons M-LongDoc, un ensemble de données de 851 échantillons, et un cadre automatisé pour évaluer les performances des grands modèles multimodaux. Nous proposons en outre une approche d'ajustement conscient de la recherche pour une lecture efficace et efficace de documents multimodaux. Comparé aux travaux existants, notre ensemble de données se compose de documents plus récents et plus longs avec des centaines de pages, tout en exigeant des solutions ouvertes et non seulement des réponses extractives. À notre connaissance, notre cadre d'entraînement est le premier à aborder directement le contexte de recherche pour les longs documents multimodaux. Pour permettre l'ajustement des modèles open-source, nous construisons un corpus d'entraînement de manière entièrement automatique pour la tâche de question-réponse sur de tels documents. Les expériences montrent que notre approche d'ajustement permet d'obtenir une amélioration relative de 4,6 % pour la justesse des réponses du modèle, par rapport aux modèles open-source de référence. Nos données, code et modèles sont disponibles sur https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.