Sumarização de Texto Multi-LLM

Multi-LLM Text Summarization

December 20, 2024

Autores: Jiangnan Fang, Cheng-Tse Liu, Jieun Kim, Yash Bhedaru, Ethan Liu, Nikhil Singh, Nedim Lipka, Puneet Mathur, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi, Hanieh Deilamsalehy

cs.AI

Resumo

Neste trabalho, propomos um framework de sumarização Multi-LLM e investigamos duas estratégias diferentes de multi-LLM, incluindo centralizada e descentralizada. Nosso framework de sumarização Multi-LLM possui dois passos fundamentalmente importantes em cada rodada de conversa: geração e avaliação. Esses passos são diferentes dependendo se nossa sumarização Multi-LLM descentralizada ou centralizada é utilizada. Em ambas as estratégias de multi-LLM descentralizada e centralizada, temos k diferentes LLMs que geram resumos diversos do texto. No entanto, durante a avaliação, nossa abordagem de sumarização Multi-LLM centralizada aproveita um único LLM para avaliar os resumos e selecionar o melhor, enquanto k LLMs são utilizados para a sumarização Multi-LLM descentralizada. No geral, descobrimos que nossas abordagens de sumarização Multi-LLM superam significativamente as bases que utilizam apenas um único LLM em até 3 vezes. Esses resultados indicam a eficácia das abordagens de multi-LLM para sumarização.

English

In this work, we propose a Multi-LLM summarization framework, and investigate two different multi-LLM strategies including centralized and decentralized. Our multi-LLM summarization framework has two fundamentally important steps at each round of conversation: generation and evaluation. These steps are different depending on whether our multi-LLM decentralized summarization is used or centralized. In both our multi-LLM decentralized and centralized strategies, we have k different LLMs that generate diverse summaries of the text. However, during evaluation, our multi-LLM centralized summarization approach leverages a single LLM to evaluate the summaries and select the best one whereas k LLMs are used for decentralized multi-LLM summarization. Overall, we find that our multi-LLM summarization approaches significantly outperform the baselines that leverage only a single LLM by up to 3x. These results indicate the effectiveness of multi-LLM approaches for summarization.