엘엘엠 사전 훈련과 연속적인 개념

초록

다음 토큰 예측은 대형 언어 모델 사전 훈련에 사용되는 표준 훈련 목표입니다. 토큰 수준의 난해도를 최적화함으로써 표현이 학습됩니다. 우리는 연속적인 개념 혼합 (CoCoMix)이라는 새로운 사전 훈련 프레임워크를 제안합니다. 이 프레임워크는 이산적인 다음 토큰 예측과 연속적인 개념을 결합합니다. 구체적으로, CoCoMix는 사전 훈련된 희소 오토인코더로부터 학습된 연속적인 개념을 예측하고 이를 모델의 숨겨진 상태에 섞어 토큰 숨겨진 표현과 교차로 배치합니다. 언어 모델링 및 하위 추론 작업을 포함한 여러 벤치마크 실험을 통해 CoCoMix가 더 샘플 효율적이며 표준 다음 토큰 예측, 지식 증류 및 일시 중지 토큰 삽입을 일관되게 능가함을 보여줍니다. 개념 학습과 교차 배치를 모두 결합하는 것이 성능 향상에 중요하다는 것을 발견했습니다. 더 나아가, CoCoMix는 예측된 개념을 직접 검사하고 수정할 수 있도록 함으로써 해석 가능성과 조절 가능성을 향상시킵니다. 이는 모델의 내부 추론 과정을 안내하는 투명한 방법을 제공합니다.

English

Next token prediction has been the standard training objective used in large language model pretraining. Representations are learned as a result of optimizing for token-level perplexity. We propose Continuous Concept Mixing (CoCoMix), a novel pretraining framework that combines discrete next token prediction with continuous concepts. Specifically, CoCoMix predicts continuous concepts learned from a pretrained sparse autoencoder and mixes them into the model's hidden state by interleaving with token hidden representations. Through experiments on multiple benchmarks, including language modeling and downstream reasoning tasks, we show that CoCoMix is more sample efficient and consistently outperforms standard next token prediction, knowledge distillation and inserting pause tokens. We find that combining both concept learning and interleaving in an end-to-end framework is critical to performance gains. Furthermore, CoCoMix enhances interpretability and steerability by allowing direct inspection and modification of the predicted concept, offering a transparent way to guide the model's internal reasoning process.

엘엘엠 사전 훈련과 연속적인 개념

LLM Pretraining with Continuous Concepts

초록

Summary

Support