Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models

要約

自己改善は、トレーニング前、トレーニング後、テスト時間推論の大規模な言語モデル（LLM）のメカニズムです。
この検証に基づいて、モデルが独自の出力、フィルター、またはリワイトデータを検証し、フィルター処理されたデータを蒸留するフレームワークを調査します。
いくつかの経験的成功にもかかわらず、基本的な理解はまだ不足しています。
この作業では、LLMの自己改善に関する包括的でモジュール式の制御された研究を開始します。
私たちは、自己改善のための数学的定式化を提供します。これは、主に、世代の検証ギャップとして形式化する量によって支配されています。
さまざまなモデルファミリやタスクを使用した実験を通じて、自己改善のスケーリング現象を発見します。これは、モデルのトレーニング前のフロップとともに、世代の検証ギャップのバリアントを単調にスケーリングします。
また、自己改善がいつ可能か、反復的な自己改善手順、およびそのパフォーマンスを改善する方法を調べます。
私たちの調査結果は、LLMの自己改善の実用的な意味を促進するだけでなく、その能力と境界に関する将来の研究のための多くの道を開いています。

要約(オリジナル)

Self-improvement is a mechanism in Large Language Model (LLM) pre-training, post-training and test-time inference. We explore a framework where the model verifies its own outputs, filters or reweights data based on this verification, and distills the filtered data. Despite several empirical successes, a fundamental understanding is still lacking. In this work, we initiate a comprehensive, modular and controlled study on LLM self-improvement. We provide a mathematical formulation for self-improvement, which is largely governed by a quantity which we formalize as the generation-verification gap. Through experiments with various model families and tasks, we discover a scaling phenomenon of self-improvement — a variant of the generation-verification gap scales monotonically with the model pre-training flops. We also examine when self-improvement is possible, an iterative self-improvement procedure, and ways to improve its performance. Our findings not only advance understanding of LLM self-improvement with practical implications, but also open numerous avenues for future research into its capabilities and boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google