Riassunto di testo multi-LLM

Multi-LLM Text Summarization

December 20, 2024

Autori: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Abstract

In questo lavoro, proponiamo un framework di riassunto Multi-LLM e indaghiamo due diverse strategie multi-LLM, tra cui centralizzata e decentralizzata. Il nostro framework di riassunto multi-LLM prevede due passaggi fondamentali in ciascun round di conversazione: generazione ed valutazione. Questi passaggi sono differenti a seconda che venga utilizzata la nostra strategia di riassunto multi-LLM decentralizzata o centralizzata. In entrambe le nostre strategie multi-LLM decentralizzata e centralizzata, abbiamo k diversi LLM che generano riassunti diversificati del testo. Tuttavia, durante la valutazione, il nostro approccio di riassunto multi-LLM centralizzato sfrutta un singolo LLM per valutare i riassunti e selezionare il migliore, mentre k LLM sono utilizzati per il riassunto multi-LLM decentralizzato. Complessivamente, scopriamo che i nostri approcci di riassunto multi-LLM superano significativamente i baselines che sfruttano solo un singolo LLM fino a 3 volte. Questi risultati indicano l'efficacia degli approcci multi-LLM per il riassunto.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.