Self-Taught Self-Correction for Small Language Models

要約

大規模な言語モデル（LLM）は、さまざまなタスクで顕著なパフォーマンスを達成していますが、エラーが発生しやすいままです。
重要な課題は、彼らが自己修正できるようにすることです。
以前の研究では、外部ツールまたは大規模な独自モデルに依存していますが、この作業は、自己生成データのみを使用して、反復的な微調整を通じて、小言語モデル（SLM）の自己修正を調査します。
複数のアルゴリズム設計の選択肢を組み込んだ自称自己修正（STASC）アルゴリズムを紹介します。
疑問服を与えるタスクの実験結果は、STASCが効果的に自己修正を学習し、パフォーマンスの大幅な改善につながることを示しています。
私たちの分析はさらに、自己修正のメカニズムと、学習ダイナミクスと全体的なパフォーマンスに対するさまざまな設計選択の影響に関する洞察を提供します。
将来の研究をサポートするために、ユーザーフレンドリーなコードベースと軽量モデルをリリースします。

要約(オリジナル)

Although large language models (LLMs) have achieved remarkable performance across various tasks, they remain prone to errors. A key challenge is enabling them to self-correct. While prior research has relied on external tools or large proprietary models, this work explores self-correction in small language models (SLMs) through iterative fine-tuning using solely self-generated data. We introduce the Self-Taught Self-Correction (STaSC) algorithm, which incorporates multiple algorithmic design choices. Experimental results on a question-answering task demonstrate that STaSC effectively learns self-correction, leading to significant performance improvements. Our analysis further provides insights into the mechanisms of self-correction and the impact of different design choices on learning dynamics and overall performance. To support future research, we release our user-friendly codebase and lightweight models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google