ReZero: Migliorare la capacità di ricerca dei LLM provando un'altra volta

ReZero: Enhancing LLM search ability by trying one-more-time

April 15, 2025

Autori: Alan Dao, Thinh Le

cs.AI

Abstract

La Generazione Aumentata dal Recupero (Retrieval-Augmented Generation, RAG) migliora le prestazioni dei Modelli Linguistici di Grande Scala (Large Language Models, LLM) in compiti ad alta intensità di conoscenza, ma dipende fortemente dalla qualità della query di ricerca iniziale. I metodi attuali, che spesso utilizzano l'Apprendimento per Rinforzo (Reinforcement Learning, RL), si concentrano tipicamente sulla formulazione della query o sul ragionamento sui risultati, senza incoraggiare esplicitamente la persistenza dopo una ricerca fallita. Introduciamo ReZero (Retry-Zero), un nuovo framework RL che premia direttamente l'atto di riprovare una query di ricerca dopo un tentativo iniziale non riuscito. Ciò incentiva il LLM a esplorare query alternative piuttosto che fermarsi prematuramente. ReZero dimostra un miglioramento significativo, raggiungendo un'accuratezza del 46,88% rispetto a un baseline del 25%. Premendo la persistenza, ReZero aumenta la robustezza dei LLM in scenari complessi di ricerca di informazioni in cui le query iniziali potrebbero rivelarsi insufficienti.

English

Retrieval-Augmented Generation (RAG) improves Large Language Model (LLM) performance on knowledge-intensive tasks but depends heavily on initial search query quality. Current methods, often using Reinforcement Learning (RL), typically focus on query formulation or reasoning over results, without explicitly encouraging persistence after a failed search. We introduce ReZero (Retry-Zero), a novel RL framework that directly rewards the act of retrying a search query following an initial unsuccessful attempt. This incentivizes the LLM to explore alternative queries rather than prematurely halting. ReZero demonstrates significant improvement, achieving 46.88% accuracy compared to a 25% baseline. By rewarding persistence, ReZero enhances LLM robustness in complex information-seeking scenarios where initial queries may prove insufficient.