ProgCo: 대형 언어 모델의 자가 교정을 지원하는 프로그램

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

저자: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

초록

자기 수정(Self-Correction)은 대형 언어 모델(Large Language Models, LLMs)이 외부 피드백 없이 초기 응답을 자가 확인하고 자가 정제할 수 있도록 하는 것을 목표로 합니다. 그러나 LLMs는 종종 자가 확인을 효과적으로 수행하지 못하고 올바른 피드백을 생성하지 못하여 잘못된 정제를 유발하고 자가 수정의 실패로 이어지는 경우가 많습니다, 특히 복잡한 추론 작업에서. 본 논문에서는 프로그램 주도 자가 수정(Program-driven Self-Correction, ProgCo)을 제안합니다. 먼저, 프로그램 주도 검증(Program-driven Verification, ProgVe)은 자체 생성된 자가 실행 검증 의사 프로그램을 통해 복잡한 검증 논리와 광범위한 유효성 검사를 달성합니다. 그런 다음, 프로그램 주도 정제(Program-driven Refinement, ProgRe)은 ProgVe로부터 피드백을 받아 응답과 검증 프로그램 모두에 대한 이중 반영과 정제를 수행하여 복잡한 추론 작업에서 잘못된 피드백의 오도를 완화합니다. 세 가지 명령어 따르기 및 수학적 벤치마크 실험 결과 ProgCo가 효과적인 자가 수정을 달성하며, 실제 프로그램 도구와 결합할 때 성능을 더 향상시킬 수 있다는 것을 보여줍니다.

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.