ProgCo: Program Helps Self-Correction of Large Language Models

要約

Self-Correctionは、大規模言語モデル（LLM）が、外部からのフィードバックなしに、初期応答を自己検証し、自己洗練できるようにすることを目的としている。しかしながら、LLMはしばしば効果的な自己検証と正しいフィードバックの生成に失敗し、特に複雑な推論タスクにおいて、洗練をさらに惑わせ、自己修正の失敗につながる。本稿では、プログラム駆動型自己修正(ProgCo)を提案する。まず、プログラム駆動型検証(ProgVe)は、自己生成・自己実行の検証擬似プログラムにより、複雑な検証論理と広範な検証を実現する。次に、プログラム駆動型洗練(ProgRe)は、ProgVeからのフィードバックを受け取り、複雑な推論タスクにおける誤ったフィードバックの誤解を緩和するために、応答と検証プログラムの両方に対して二重の反映と洗練を行う。3つの命令追従型および数学的ベンチマークに対する実験から、ProgCoが効果的な自己修正を達成し、実プログラムツールと組み合わせることで性能をさらに向上できることが示された。

要約(オリジナル)

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL