ProgCo: Programma per l'Auto-Correzione dei Grandi Modelli Linguistici

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

Autori: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

Abstract

L'Auto-Correzione mira a consentire ai grandi modelli linguistici (LLM) di auto-verificare e auto-migliorare le loro risposte iniziali senza feedback esterno. Tuttavia, i LLM spesso non riescono a auto-verificarsi in modo efficace e a generare feedback corretti, portando a ulteriori errori nella raffinazione e al fallimento dell'auto-correzione, specialmente in compiti di ragionamento complessi. In questo articolo, proponiamo l'Auto-Correzione basata su Programma (ProgCo). In primo luogo, la verifica basata su programma (ProgVe) raggiunge una logica di verifica complessa e una valida estensione attraverso pseudo-programmi di verifica auto-generati ed auto-eseguibili. Successivamente, il perfezionamento basato su programma (ProgRe) riceve feedback da ProgVe, conduce una riflessione e un perfezionamento duali su entrambe le risposte e i programmi di verifica per attenuare l'effetto fuorviante dei feedback errati in compiti di ragionamento complessi. Gli esperimenti condotti su tre benchmark di seguire istruzioni e di matematica indicano che ProgCo raggiunge un'auto-correzione efficace e può migliorare ulteriormente le prestazioni quando combinato con strumenti di programmazione reali.

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.