GReaTer: I Gradienti sulla Ragionamento Rendono più Forti i Modelli Linguistici più Piccoli Ottimizzatori Prompt

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Autori: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Abstract

L'efficacia dei grandi modelli linguistici (LLM) è strettamente legata alla progettazione dei suggerimenti, rendendo l'ottimizzazione dei suggerimenti essenziale per migliorare le loro prestazioni in una vasta gamma di compiti. Molti approcci esistenti per automatizzare l'ingegneria dei suggerimenti si basano esclusivamente sul feedback testuale, perfezionando i suggerimenti basandosi esclusivamente sugli errori di inferenza identificati dai grandi LLM, che sono computazionalmente costosi. Purtroppo, i modelli più piccoli faticano a generare feedback di alta qualità, risultando in una dipendenza completa dal giudizio dei grandi LLM. Inoltre, questi metodi non riescono a sfruttare informazioni più dirette e dettagliate, come i gradienti, a causa dell'operare esclusivamente nello spazio testuale. A questo scopo, presentiamo GReaTer, una nuova tecnica di ottimizzazione dei suggerimenti che incorpora direttamente informazioni sui gradienti rispetto al ragionamento specifico del compito. Utilizzando i gradienti di perdita del compito, GReaTer consente l'auto-ottimizzazione dei suggerimenti per modelli linguistici open-source e leggeri senza la necessità di costosi LLM chiusi. Ciò consente un'ottimizzazione efficace dei suggerimenti senza dipendere dai massicci LLM, riducendo il divario tra modelli più piccoli e il ragionamento sofisticato spesso necessario per il perfezionamento dei suggerimenti. Valutazioni approfondite su diversi compiti di ragionamento, tra cui BBH, GSM8k e FOLIO, dimostrano che GReaTer supera costantemente i metodi di ottimizzazione dei suggerimenti all'avanguardia precedenti, anche quelli che si basano su potenti LLM. Inoltre, i suggerimenti ottimizzati da GReaTer mostrano frequentemente una migliore trasferibilità e, in alcuni casi, aumentano le prestazioni del compito a livelli paragonabili o superiori a quelli raggiunti da modelli linguistici più grandi, evidenziando l'efficacia dell'ottimizzazione dei suggerimenti guidata dai gradienti sul ragionamento. Il codice di GReaTer è disponibile su https://github.com/psunlpgroup/GreaTer.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.