On the Generalization of Preference Learning with DPO

要約

大規模言語モデル (LLM) は優れた機能を実証していますが、多くの場合、人間の好みに合わせるのに苦労し、有害または望ましくない出力につながります。
人間のフィードバックに基づいて、好ましい応答とそうでない応答を区別するようにモデルをトレーニングする優先学習は、LLM が人間の価値観と一致していることを確認するための重要なコンポーネントとなっています。
現実世界のシステムでは広く採用されているにもかかわらず、これらのモデルの一般化保証についての完全な理論的理解は依然として不足しています。
この論文では、直接優先最適化 (DPO) でトレーニングされたモデルの一般化保証を分析するための新しい理論的フレームワークを導入することで、そのギャップを埋めます。
既存の一般化理論は、最適に近い損失を達成する過剰パラメーター化されたモデルや、トレーニング プロセスに依存しないモデルに焦点を当てることが多いですが、私たちのフレームワークは、現実世界の LLM トレーニングの実践を反映して、有限数の勾配ステップ後にモデルがどの程度一般化するかを厳密に評価します。
各サンプルに関連付けられた報酬マージンとトレーニング全体にわたるその軌跡を分析することで、汎化誤差を効果的に制限することができます。
特定の条件下で、DPO でトレーニングされたモデルが目に見えないデータに対する優先応答を高い確率で正確に識別できることを示す学習保証を導き出します。
これらの洞察は現代の LLM で経験的に検証されており、理論的な発見の実際的な関連性が強調されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities but often struggle to align with human preferences, leading to harmful or undesirable outputs. Preference learning, which trains models to distinguish between preferred and non-preferred responses based on human feedback, has become a crucial component for ensuring that LLMs align with human values. Despite the widespread adoption in real-world systems, a thorough theoretical understanding of the generalization guarantees for these models remain lacking. This paper bridges that gap by introducing a new theoretical framework to analyze the generalization guarantees of models trained with direct preference optimization (DPO). While existing generalization theory often focuses on overparameterized models achieving near-optimal loss or models independent of the training process, our framework rigorously assesses how well models generalize after a finite number of gradient steps, reflecting real-world LLM training practices. By analyzing the reward margin associated with each sample and its trajectory throughout training, we can effectively bound the generalization error. We derive learning guarantees showing that, under specific conditions, models trained with DPO can correctly discern preferred responses on unseen data with high probability. These insights are empirically validated on contemporary LLMs, underscoring the practical relevance of our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google