압축된 사고 체인: 밀집 표현을 통한 효율적 추론

초록

Chain-of-thought (CoT) 디코딩은 언어 모델이 추론 성능을 향상시키는 데 도움이 되지만 디코딩에서 생성 지연이 크게 발생하는 비용이 발생합니다. 최근 제안들은 사색 토큰의 변형을 탐구했는데, 이 용어는 추론 중에 추가 계산을 허용하기 위해 사용되는 특수 토큰을 가리킵니다. 이전 연구는 이해 토큰으로 고려된 고정 길이 시퀀스를 고려해왔습니다. 여기서 우리는 Compressed Chain-of-Thought (CCoT)를 제안합니다. 이는 변수 시퀀스 길이의 내용이 풍부하고 연속적인 사색 토큰을 생성하기 위한 프레임워크입니다. 생성된 사색 토큰은 명시적 추론 체인의 압축된 표현이며, 우리의 방법은 기존의 디코더 언어 모델에 적용할 수 있습니다. 실험을 통해 CCoT가 밀집된 내용이 풍부한 표현을 통해 추가적인 추론을 가능하게 하여 정확도 개선을 이루는 방법을 설명합니다. 게다가, 추론 개선은 생성된 사색 토큰의 수를 제어함으로써 요구에 맞게 적응적으로 수정할 수 있습니다.

English

Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.

압축된 사고 체인: 밀집 표현을 통한 효율적 추론

Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

초록

Support