A Common Pitfall of Margin-based Language Model Alignment: Gradient Entanglement

要約

ヒューマン フィードバックからの強化学習 (RLHF) は、言語モデル (LM) の調整のための主要なアプローチとなっています。
RLHF はその中核として、優先応答の最適化にマージンベースの損失を使用し、優先応答と非優先応答の差によってのみ理想的な LM 動作を指定します。
この論文では、マージンベースの手法によくある落とし穴を特定します。それは、優先応答と非優先応答のそれぞれに対する理想的な LM 動作の仕様が不足していることです。これにより、マージンが増加するにつれて 2 つの意図しない結果が生じます。 (1) 不優先の確率 (1)
安全でない）反応が増加する可能性があり、その結果、安全性の調整が失敗する可能性があります。
(2) たとえそれらの応答が理想的であったとしても、好ましい応答の確率は減少する可能性があります。
私たちは、これらの問題行動の背後にある理由を解明します。マージンベースの損失は、優先確率の変化と不優先確率の勾配を結合させ、またその逆も同様であり、多くの場合、優先確率が増加する一方、不優先確率が減少することが妨げられ、その結果、同期が発生します。
両方の確率の増加または減少。
マージンベースの対物レンズに固有のこの効果を、勾配エンタングルメントと呼びます。
形式的には、勾配もつれが問題となる一般的なマージンベースのアライメント目標の条件を導き出します。つまり、優先対数確率と非優先対数確率の勾配の内積が、個々の勾配基準に比べて大きくなります。
私たちは、言語モデルを調整するときにこのような内積が大きくなる理由を理論的に調査し、その結果を経験的に検証します。
私たちのフレームワークの経験的な意味は、さまざまな設定最適化アルゴリズムのトレーニングダイナミクスにおける重要な違いを説明し、マージンベースの手法の仕様不足の問題を軽減し、それによって言語モデルの整合性を改善する潜在的なアルゴリズム設計を提案することにまで及びます。

要約(オリジナル)

Reinforcement Learning from Human Feedback (RLHF) has become the predominant approach for language model (LM) alignment. At its core, RLHF uses a margin-based loss for preference optimization, specifying ideal LM behavior only by the difference between preferred and dispreferred responses. In this paper, we identify a common pitfall of margin-based methods — the under-specification of ideal LM behavior on preferred and dispreferred responses individually, which leads to two unintended consequences as the margin increases: (1) The probability of dispreferred (e.g., unsafe) responses may increase, resulting in potential safety alignment failures. (2) The probability of preferred responses may decrease, even when those responses are ideal. We demystify the reasons behind these problematic behaviors: margin-based losses couple the change in the preferred probability to the gradient of the dispreferred one, and vice versa, often preventing the preferred probability from increasing while the dispreferred one decreases, and thus causing a synchronized increase or decrease in both probabilities. We term this effect, inherent in margin-based objectives, gradient entanglement. Formally, we derive conditions for general margin-based alignment objectives under which gradient entanglement becomes concerning: the inner product of the gradients of preferred and dispreferred log-probabilities is large relative to the individual gradient norms. We theoretically investigate why such inner products can be large when aligning language models and empirically validate our findings. Empirical implications of our framework extend to explaining important differences in the training dynamics of various preference optimization algorithms, and suggesting potential algorithm designs to mitigate the under-specification issue of margin-based methods and thereby improving language model alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google