What Do Learning Dynamics Reveal About Generalization in LLM Reasoning?

要約

最新の大規模言語モデル (LLM) の優れた機能にもかかわらず、問題解決能力の背後にあるメカニズムは依然としてとらえどころがありません。
この研究では、LLM 微調整の学習ダイナミクスが下流の一般化をどのように形成するかをより深く理解することを目的としています。
私たちの分析は推論タスクに焦点を当てており、その問題構造により、暗記 (トレーニング データからの推論ステップの正確な複製) とパフォーマンス (最終的な解決策の正確さ) を区別することができます。
モデルの一般化動作は、事前記憶トレーニング精度と呼ばれるトレーニング メトリックによって効果的に特徴付けることができることがわかりました。これは、トレーニング セットから正確な推論ステップをコピーし始める前の、トレーニング クエリに対するモデル サンプルの精度です。
データセット レベルでは、このメトリクスはテスト精度を確実に予測でき、さまざまなモデル (Llama3 8、Gemma2 9B)、データセット (GSM8k、MATH)、トレーニング構成全体で $R^2$ が約 0.9 以上に達します。
例ごとのレベルでは、このメトリクスは、個々のモデルの予測がトレーニング クエリの摂動に対して堅牢であるかどうかも示します。
モデルの学習動作をその一般化に結び付けることで、事前記憶トレーニングの精度がトレーニング戦略の目標を絞った改善に導くことができます。
例としてデータキュレーションに焦点を当て、事前記憶精度が低い例を優先すると、i.i.d. と比較してデータ効率が 1.5 ～ 2 倍向上することがわかりました。
データ スケーリングに優れており、他の標準的なデータ キュレーション技術よりも優れています。

要約(オリジナル)

Despite the remarkable capabilities of modern large language models (LLMs), the mechanisms behind their problem-solving abilities remain elusive. In this work, we aim to better understand how the learning dynamics of LLM finetuning shapes downstream generalization. Our analysis focuses on reasoning tasks, whose problem structure allows us to distinguish between memorization (the exact replication of reasoning steps from the training data) and performance (the correctness of the final solution). We find that a model’s generalization behavior can be effectively characterized by a training metric we call pre-memorization train accuracy: the accuracy of model samples on training queries before they begin to copy the exact reasoning steps from the training set. On the dataset level, this metric is able to reliably predict test accuracy, achieving $R^2$ of around or exceeding 0.9 across various models (Llama3 8, Gemma2 9B), datasets (GSM8k, MATH), and training configurations. On a per-example level, this metric is also indicative of whether individual model predictions are robust to perturbations in the training query. By connecting a model’s learning behavior to its generalization, pre-memorization train accuracy can guide targeted improvements to training strategies. We focus on data curation as an example, and show that prioritizing examples with low pre-memorization accuracy leads to 1.5-2x improvements in data efficiency compared to i.i.d. data scaling, and outperforms other standard data curation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google