Catena di Pensiero Compressa: Ragionamento Efficiente Attraverso Rappresentazioni Dense

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

Autori: Jeffrey Cheng, Benjamin Van Durme

cs.AI

Abstract

Il decoding a catena di pensiero (CoT) consente ai modelli linguistici di migliorare le prestazioni di ragionamento a discapito di un'elevata latenza nella generazione durante il decoding. Proposte recenti hanno esplorato varianti dei token di contemplazione, un termine che introduciamo e che si riferisce a token speciali utilizzati durante l'inferenza per consentire un calcolo aggiuntivo. Lavori precedenti hanno considerato sequenze di lunghezza fissa tratte da un insieme discreto di embedding come token di contemplazione. Qui proponiamo Catena-di-Pensiero Compressa (CCoT), un framework per generare token di contemplazione significativi e continui di lunghezza di sequenza variabile. I token di contemplazione generati sono rappresentazioni compressate di catene di ragionamento esplicite, e il nostro metodo può essere applicato ai modelli linguistici decoder pronti all'uso. Attraverso esperimenti, illustreremo come CCoT consenta un ragionamento aggiuntivo su rappresentazioni dense e significative per ottenere miglioramenti corrispondenti in termini di accuratezza. Inoltre, i miglioramenti nel ragionamento possono essere modificati in modo adattivo su richiesta controllando il numero di token di contemplazione generati.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.