圧縮された思考の連鎖：密な表現を通じた効率的な推論

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

December 17, 2024

著者: Jeffrey Cheng, Benjamin Van Durme

cs.AI

要旨

Chain-of-thought (CoT) デコーディングは、推論性能を向上させるために言語モデルが採用するが、デコーディングにおいて生成の遅延が高いというコストがかかる。最近の提案では、推論中に追加の計算を可能にするために使用される特別なトークンを指す「考慮トークン」の変種が探求されてきた。これまでの研究では、離散的な埋め込みの固定長シーケンスを考慮トークンとして使用してきた。ここでは、可変長のシーケンスを持つ内容豊かで連続した考慮トークンを生成するためのフレームワークである「Compressed Chain-of-Thought (CCoT)」を提案する。生成された考慮トークンは、明示的な推論チェーンの圧縮表現であり、当該手法は汎用のデコーダー言語モデルに適用できる。実験を通じて、CCoTが密な内容豊かな表現上で追加の推論を可能にし、それに応じて精度の向上を達成する方法を示す。さらに、推論の改善は、生成される考慮トークンの数を制御することで、必要に応じて適応的に変更することができる。

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.