SWI: Parlare con Intenzione nei Modelli Linguistici su Larga Scala

SWI: Speaking with Intent in Large Language Models

March 27, 2025

Autori: Yuwei Yin, EunJeong Hwang, Giuseppe Carenini

cs.AI

Abstract

L'intento, tipicamente formulato in modo chiaro e pianificato, funge da quadro cognitivo per il ragionamento e la risoluzione di problemi. Questo articolo introduce il concetto di Parlare con Intento (Speaking with Intent, SWI) nei grandi modelli linguistici (LLM), dove l'intento generato esplicitamente incapsula l'intenzione sottostante del modello e fornisce una pianificazione di alto livello per guidare le successive analisi e comunicazioni. Emulando pensieri deliberati e intenzionali della mente umana, si ipotizza che SWI possa migliorare le capacità di ragionamento e la qualità della generazione degli LLM. Esperimenti estesi su benchmark di ragionamento matematico dimostrano costantemente la superiorità di Parlare con Intento rispetto alla Baseline (cioè, generazione senza intento esplicito). Inoltre, SWI supera i metodi di prompting basati su risposte come Catena di Pensiero (Chain-of-Thought) e Pianifica e Risolvi (Plan-and-Solve) e mantiene prestazioni competitive con il metodo forte ARR (Analisi, Recupero e Ragionamento). L'efficacia e la generalizzabilità di SWI sono ulteriormente confermate su benchmark di risposta a domande (QA) ad alta intensità di ragionamento e di riassunto testuale, dove SWI apporta miglioramenti consistenti rispetto alla generazione Baseline. Nei riassunti testuali, i riassunti generati da SWI mostrano maggiore accuratezza, concisione e correttezza fattuale, con meno allucinazioni. Inoltre, valutazioni umane verificano la coerenza, l'efficacia e l'interpretabilità dell'intento prodotto da SWI. Questo studio proof-of-concept apre una nuova strada per migliorare le capacità di ragionamento degli LLM con nozioni cognitive.

English

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model's underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs' reasoning abilities with cognitive notions.