Calcolo al momento del test: dal pensiero di Sistema-1 al pensiero di Sistema-2

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

Autori: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

Abstract

La straordinaria performance del modello o1 nel ragionamento complesso dimostra che la scalabilità del calcolo al momento del test può ulteriormente sbloccare il potenziale del modello, consentendo un potente pensiero di Sistema-2. Tuttavia, mancano ancora indagini esaustive sulla scalabilità del calcolo al momento del test. Rintracciamo il concetto di calcolo al momento del test ai modelli di Sistema-1. Nei modelli di Sistema-1, il calcolo al momento del test affronta spostamenti di distribuzione e migliora la robustezza e la generalizzazione attraverso l'aggiornamento dei parametri, la modifica dell'input, la modifica della rappresentazione e la calibrazione dell'output. Nei modelli di Sistema-2, potenzia la capacità di ragionamento del modello per risolvere problemi complessi attraverso campionamenti ripetuti, autocorrezione e ricerca ad albero. Organizziamo questa indagine secondo la tendenza dal pensiero di Sistema-1 al pensiero di Sistema-2, evidenziando il ruolo chiave del calcolo al momento del test nel passaggio dai modelli di Sistema-1 ai modelli deboli di Sistema-2 e poi ai modelli forti di Sistema-2. Indichiamo anche alcune possibili direzioni future.

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.