ProgCo: プログラムが大規模言語モデルの自己修正を支援

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

著者: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

要旨

自己訂正は、大規模言語モデル（LLM）が外部フィードバックなしで初期応答を自己検証および自己改善することを目指しています。しかし、LLMはしばしば効果的に自己検証を行い、正しいフィードバックを生成することに失敗し、誤ったフィードバックによる誤導が進行し、特に複雑な推論タスクでは自己訂正の失敗につながります。本論文では、プログラム駆動型自己訂正（ProgCo）を提案します。まず、プログラム駆動型検証（ProgVe）は、自己生成、自己実行検証疑似プログラムを介して複雑な検証ロジックと包括的な検証を実現します。次に、プログラム駆動型改善（ProgRe）は、ProgVeからフィードバックを受け取り、複雑な推論タスクにおける不正確なフィードバックの誤導を緩和するために、応答と検証プログラムの両方に対して二重の反映と改善を行います。3つの命令従属および数学的ベンチマークでの実験結果は、ProgCoが効果的な自己訂正を達成し、実際のプログラムツールと組み合わせることでパフォーマンスをさらに向上させることができることを示しています。

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.