Dyve: 동적 프로세스 검증을 위한 빠르고 느린 사고

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

저자: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

초록

우리는 Dyve를 제시합니다. Dyve는 카네먼의 시스템 이론에서 영감을 받아 빠르고 느린 사고를 통합하여 대형 언어 모델에서 추론 오류 감지를 향상시키는 동적 프로세스 확인기입니다. Dyve는 간단한 단계에 대해 즉각적인 토큰 수준 확인 System 1과 복잡한 단계에 대해 포괄적인 분석 System 2를 적응적으로 적용합니다. 몬테 카를로 추정과 LLM 기반 평가를 결합한 새로운 단계별 합의 필터링된 프로세스 감독 기술을 활용하여 Dyve는 소음이 있는 데이터에서 고품질 감독 신호를 선별합니다. ProcessBench와 MATH 데이터셋에서의 실험 결과는 Dyve가 기존의 프로세스 기반 확인기를 크게 능가하고 Best-of-N 설정에서 성능을 향상시킨다는 것을 확인합니다.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.