Learning to Check: Unleashing Potentials for Self-Correction in Large Language Models

要約

自己修正は、大規模言語モデル (LLM) から生成された出力のスタイルとセキュリティを強化するという素晴らしい結果を達成しました。
しかし、最近の研究では、LLM は論理的間違いを特定することが難しいため、推論タスクでは自己修正が制限されるか、逆効果になる可能性があることが示唆されています。
この論文では、タスクをチェックするためのトレーニング データを構築することにより、LLM の自己チェック機能を強化することを目的としています。
具体的には、思考連鎖（CoT）手法を自己チェックタスクに適用し、きめの細かいステップレベルの分析と説明を利用して推論パスの正しさを評価します。
私たちは「Step CoT Check」と呼ばれる特殊なチェック形式を提案します。
この形式に従って、詳細な段階的な分析とチェックを含むチェック修正データセットを構築します。
次に、LLM を微調整して、エラー検出と訂正の能力を強化します。
私たちの実験では、「ステップ CoT チェック」形式による微調整により、複数のベンチマークにわたって LLM の自己チェックおよび自己修正能力が大幅に向上することが実証されました。
このアプローチは、特に誤った位置を特定する際に他の形式よりも優れており、より大きなモデルでより大きな利点が観察されます。
再現性を高めるために、すべてのデータセットとコードは https://github.com/bammt/Learn-to-check で提供されています。

要約(オリジナル)

Self-correction has achieved impressive results in enhancing the style and security of the generated output from large language models (LLMs). However, recent studies suggest that self-correction might be limited or even counterproductive in reasoning tasks due to LLMs’ difficulties in identifying logical mistakes. In this paper, we aim to enhance the self-checking capabilities of LLMs by constructing training data for checking tasks. Specifically, we apply the Chain of Thought (CoT) methodology to self-checking tasks, utilizing fine-grained step-level analyses and explanations to assess the correctness of reasoning paths. We propose a specialized checking format called ‘Step CoT Check’. Following this format, we construct a checking-correction dataset that includes detailed step-by-step analysis and checking. Then we fine-tune LLMs to enhance their error detection and correction abilities. Our experiments demonstrate that fine-tuning with the ‘Step CoT Check’ format significantly improves the self-checking and self-correction abilities of LLMs across multiple benchmarks. This approach outperforms other formats, especially in locating the incorrect position, with greater benefits observed in larger models. For reproducibility, all the datasets and code are provided in https://github.com/bammt/Learn-to-check.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google