LLMtimesMapReduce: Vereenvoudigde Verwerking van Lange Sequenties met Grote Taalmodellen

LLMtimesMapReduce: Simplified Long-Sequence Processing using Large Language Models

October 12, 2024

Auteurs: Zihan Zhou, Chong Li, Xinyi Chen, Shuo Wang, Yu Chao, Zhili Li, Haoyu Wang, Rongqiao An, Qi Shi, Zhixing Tan, Xu Han, Xiaodong Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Samenvatting

Het vergroten van het contextvenster van grote taalmodellen (LLM's) is een cruciaal onderzoeksgebied geworden, met name voor toepassingen die zeer lange teksten omvatten. In dit werk stellen we een nieuw trainingvrij kader voor om lange teksten te verwerken, waarbij een verdeel-en-heersstrategie wordt gebruikt om een uitgebreid begrip van documenten te bereiken. Het voorgestelde LLMtimesMapReduce-kader splitst het volledige document in verschillende brokken voor LLM's om te lezen en aggregeert vervolgens de tussentijdse antwoorden om de uiteindelijke output te produceren. De belangrijkste uitdaging voor verdeel-en-heerskaders voor het verwerken van lange teksten ligt in het risico van het verliezen van essentiële informatie op lange afstand bij het opsplitsen van het document, wat het model kan leiden tot het produceren van onvolledige of onjuiste antwoorden op basis van de gesegmenteerde teksten. Verstoorde informatie op lange afstand kan worden ingedeeld in twee categorieën: inter-brok afhankelijkheid en inter-brok conflict. We ontwerpen een gestructureerd informatieprotocol om beter om te gaan met inter-brok afhankelijkheid en een in-context vertrouwenskalibratiemechanisme om inter-brok conflicten op te lossen. Experimentele resultaten tonen aan dat LLMtimesMapReduce beter kan presteren dan representatieve open-source en commerciële LLM's met een lange context, en toepasbaar is op verschillende modellen.

English

Enlarging the context window of large language models (LLMs) has become a crucial research area, particularly for applications involving extremely long texts. In this work, we propose a novel training-free framework for processing long texts, utilizing a divide-and-conquer strategy to achieve comprehensive document understanding. The proposed LLMtimesMapReduce framework splits the entire document into several chunks for LLMs to read and then aggregates the intermediate answers to produce the final output. The main challenge for divide-and-conquer long text processing frameworks lies in the risk of losing essential long-range information when splitting the document, which can lead the model to produce incomplete or incorrect answers based on the segmented texts. Disrupted long-range information can be classified into two categories: inter-chunk dependency and inter-chunk conflict. We design a structured information protocol to better cope with inter-chunk dependency and an in-context confidence calibration mechanism to resolve inter-chunk conflicts. Experimental results demonstrate that LLMtimesMapReduce can outperform representative open-source and commercial long-context LLMs, and is applicable to several different models.