テスト時の計算：システム1思考からシステム2思考へ

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

著者: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

要旨

複雑な推論におけるo1モデルの卓越した性能は、テスト時の計算スケーリングがモデルの潜在能力をさらに引き出し、強力なシステム2の思考を可能にすることを示しています。ただし、テスト時の計算スケーリングに関する包括的な調査がまだ不足しています。私たちは、テスト時の計算の概念をシステム1モデルに遡って追跡します。システム1モデルでは、テスト時の計算は分布のシフトに対処し、パラメータの更新、入力の修正、表現の編集、および出力のキャリブレーションを通じて堅牢性と汎化性能を向上させます。システム2モデルでは、反復サンプリング、自己修正、および木探索を通じて、複雑な問題を解決するためのモデルの推論能力を向上させます。私たちは、システム1からシステム2の思考へのトレンドに従ってこの調査を整理し、システム1モデルから弱いシステム2モデル、そして強いシステム2モデルへの移行におけるテスト時の計算の重要な役割を強調します。また、いくつかの可能性のある将来の方向性も指摘します。

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.