Understanding Reference Policies in Direct Preference Optimization

要約

Direct Preference Optimization (DPO) は、大規模言語モデル (LLM) の命令を微調整するためのトレーニング方法として広く使用されています。
この研究では、DPO の十分に調査されていない側面、つまり参照モデルまたはポリシーへの依存性を調査します。
このような参照ポリシーは、通常、さらに微調整されるモデルとしてインスタンス化されますが、DPO の有効性に上限を課す可能性があるため重要です。
したがって、この研究では、関連する 3 つの研究課題に取り組みます。
まず、参照ポリシーからの逸脱にペナルティを与える DPO の KL 発散制約の最適な強度を調査し、DPO がこの強度に敏感であることを発見しました。
次に、DPO と関連する学習目標の間の理論的および経験的比較の両方を提供することにより、DPO の参照ポリシーからの KL 制約の必要性を検証し、この制御された設定における DPO の優位性を実証します。
さらに、DPO がより強力な参照ポリシーから恩恵を受けるかどうかを調査し、より強力な参照ポリシーがパフォーマンスの向上につながる可能性があることを発見しましたが、それは微調整されているモデルと同様の場合に限られます。
私たちの調査結果は、DPO における参照ポリシーの交絡的な役割を強調し、ベスト プラクティスに関する洞察を提供すると同時に、今後の研究のための未解決の研究課題も特定します。

要約(オリジナル)

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO – its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO’s effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of the KL-constraint from the reference policies in DPO by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO’s superiority in this controlled setting. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google