Cadeia de Pensamento Comprimida: Raciocínio Eficiente Através de Representações Densas

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

Autores: Jeffrey Cheng, Benjamin Van Durme

cs.AI

Resumo

A decodificação de cadeia de pensamento (CoT) permite que os modelos de linguagem melhorem o desempenho de raciocínio ao custo de uma alta latência de geração na decodificação. Propostas recentes têm explorado variantes de tokens de contemplação, um termo que introduzimos e que se refere a tokens especiais usados durante a inferência para permitir cálculos extras. Trabalhos anteriores consideraram sequências de comprimento fixo retiradas de um conjunto discreto de embeddings como tokens de contemplação. Aqui propomos Cadeia-de-Pensamento Comprimida (CCoT), um framework para gerar tokens de contemplação significativos e contínuos de comprimento de sequência variável. Os tokens de contemplação gerados são representações comprimidas de cadeias de raciocínio explícitas, e nosso método pode ser aplicado a modelos de linguagem decodificadores prontos para uso. Através de experimentos, ilustramos como o CCoT permite um raciocínio adicional sobre representações densas e significativas para alcançar melhorias correspondentes na precisão. Além disso, as melhorias de raciocínio podem ser modificadas de forma adaptativa sob demanda controlando o número de tokens de contemplação gerados.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.