Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models

要約

自己改善は、大規模言語モデル（Large Language Model: LLM）の事前学習、事後学習、テスト時推論におけるメカニズムである。我々は、モデルが自身の出力を検証し、この検証に基づいてデータをフィルタリングまたは重み付けし、フィルタリングされたデータを抽出するフレームワークを探求する。実証的な成功例はいくつかあるが、根本的な理解はまだ不足している。本研究では、LLMの自己改善に関する包括的でモジュール化された制御研究を開始する。自己改良のための数学的定式化を提供し、それは我々が世代と検証のギャップとして定式化した量に大きく支配される。様々なモデルファミリーとタスクを用いた実験を通して、我々は自己改良のスケーリング現象を発見した。また、どのような場合に自己改良が可能なのか、反復的な自己改良の手順、自己改良の性能を向上させる方法についても検討する。我々の発見は、LLMの自己改良の理解を進め、実用的な意味合いを持つだけでなく、その能力と境界に関する今後の研究のための多くの道を開くものである。

要約(オリジナル)

Self-improvement is a mechanism in Large Language Model (LLM) pre-training, post-training and test-time inference. We explore a framework where the model verifies its own outputs, filters or reweights data based on this verification, and distills the filtered data. Despite several empirical successes, a fundamental understanding is still lacking. In this work, we initiate a comprehensive, modular and controlled study on LLM self-improvement. We provide a mathematical formulation for self-improvement, which is largely governed by a quantity which we formalize as the generation-verification gap. Through experiments with various model families and tasks, we discover a scaling phenomenon of self-improvement — a variant of the generation-verification gap scales monotonically with the model pre-training flops. We also examine when self-improvement is possible, an iterative self-improvement procedure, and ways to improve its performance. Our findings not only advance understanding of LLM self-improvement with practical implications, but also open numerous avenues for future research into its capabilities and boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL