LoRA - Contextualisatie van de aanpassing van grote multimodale modellen voor het begrijpen van lange documenten

LoRA-Contextualizing Adaptation of Large Multimodal Models for Long Document Understanding

November 2, 2024

Auteurs: Jian Chen, Ruiyi Zhang, Yufan Zhou, Tong Yu, Franck Dernoncourt, Jiuxiang Gu, Ryan A. Rossi, Changyou Chen, Tong Sun

cs.AI

Samenvatting

Grote multimodale modellen (LMM's) hebben recentelijk grote vooruitgang getoond in het begrijpen van tekstrijke afbeeldingen, maar ze hebben nog steeds moeite met complexe, visueel rijke documenten die meerdere pagina's beslaan. Traditionele methoden die documentparsers gebruiken voor opvraag-verrijkte generatie ondervinden prestatie- en efficiëntiebeperkingen, terwijl het direct presenteren van alle pagina's aan LMM's leidt tot inefficiënties, vooral bij lange documenten. In dit werk presenteren we een nieuw raamwerk genaamd LoRA-Contextualizing Adaptation of Large multimodal models (LoCAL), dat de mogelijkheden van elk LMM verbreedt om het begrip van lange documenten te ondersteunen. We tonen aan dat LMM's effectief kunnen dienen als multimodale opvragers, die relevante pagina's ophalen om gebruikersvragen te beantwoorden op basis van deze pagina's. LoCAL is geïmplementeerd met twee specifieke LMM-adapters: één voor het ophalen van bewijspagina's en een andere voor het beantwoorden van vragen. Empirische resultaten tonen state-of-the-art prestaties op openbare benchmarks, waarbij de effectiviteit van LoCAL wordt aangetoond.

English

Large multimodal models (LMMs) have recently shown great progress in text-rich image understanding, yet they still struggle with complex, multi-page, visually-rich documents. Traditional methods using document parsers for retrieval-augmented generation suffer from performance and efficiency limitations, while directly presenting all pages to LMMs leads to inefficiencies, especially with lengthy documents. In this work, we present a novel framework named LoRA-Contextualizing Adaptation of Large multimodal models (LoCAL), which broadens the capabilities of any LMM to support long-document understanding. We demonstrate that LMMs can effectively serve as multimodal retrievers, fetching relevant pages to answer user questions based on these pages. LoCAL is implemented with two specific LMM adapters: one for evidence page retrieval and another for question answering. Empirical results show state-of-the-art performance on public benchmarks, demonstrating the effectiveness of LoCAL.