Aligning Language Models with Preferences through f-divergence Minimization

要約

言語モデルを好みに合わせて調整することは、何らかの望ましい動作を表すターゲット分布に近似することとみなすことができます。
既存のアプローチは、ターゲット分布の関数形式と、それを近似するために使用されるアルゴリズムの両方において異なります。
たとえば、ヒューマン フィードバックからの強化学習 (RLHF) は、目的内の KL ペナルティから生じる暗黙のターゲット分布から逆 KL を最小化することに対応します。
一方、生成分布制御 (GDC) には明示的なターゲット分布があり、分布ポリシー勾配 (DPG) アルゴリズムを使用してそこからの順方向 KL を最小化します。
この論文では、新しいアプローチ f-DPG を提案します。これにより、任意の f-ダイバージェンスを使用して、評価可能な任意のターゲット分布を近似できるようになります。
f-DPG は、フレームワーク (RLHF、GDC) と近似手法 (DPG、KL ペナルティ付きの RL) の両方を統合します。
我々は、発散の目的をさまざまに選択することによる実際的な利点を示し、普遍的に最適な目的は存在しないが、発散が異なれば整合性と多様性のトレードオフも異なることを実証します。
我々は、ジェンセン-シャノンダイバージェンスがこれらの目的の間で良好なバランスをとっており、多くの場合フォワードKLダイバージェンスを大幅に上回り、以前の研究に比べて大幅な改善につながることを示します。
発散間のこれらの際立った特性は、モデルのサイズが大きくなっても持続するため、適切な発散の目的を選択することの重要性が強調されます。

要約(オリジナル)

Aligning language models with preferences can be posed as approximating a target distribution representing some desired behavior. Existing approaches differ both in the functional form of the target distribution and the algorithm used to approximate it. For instance, Reinforcement Learning from Human Feedback (RLHF) corresponds to minimizing a reverse KL from an implicit target distribution arising from a KL penalty in the objective. On the other hand, Generative Distributional Control (GDC) has an explicit target distribution and minimizes a forward KL from it using the Distributional Policy Gradient (DPG) algorithm. In this paper, we propose a new approach, f-DPG, which allows the use of any f-divergence to approximate any target distribution that can be evaluated. f-DPG unifies both frameworks (RLHF, GDC) and the approximation methods (DPG, RL with KL penalties). We show the practical benefits of various choices of divergence objectives and demonstrate that there is no universally optimal objective but that different divergences present different alignment and diversity trade-offs. We show that Jensen-Shannon divergence strikes a good balance between these objectives, and frequently outperforms forward KL divergence by a wide margin, leading to significant improvements over prior work. These distinguishing characteristics between divergences persist as the model size increases, highlighting the importance of selecting appropriate divergence objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google