Generalized Preference Optimization: A Unified Approach to Offline Alignment

要約

オフライン設定の最適化により、オフライン データから直接大規模なモデルを微調整でき、最近の調整の実践において効果的であることが証明されています。
我々は、凸関数の一般クラスによってパラメータ化されたオフライン損失のファミリーである一般化優先最適化 (GPO) を提案します。
GPO は、環境設定の最適化に関する統一されたビューを可能にし、DPO、IPO、SLiC などの既存のアルゴリズムを特殊なケースとして包含し、同時に新しいバリアントを自然に導入します。
GPO フレームワークは、損失を定義する凸関数の設計を通じて、オフライン アルゴリズムがどのように正則化を強制するかについても明らかにします。
私たちの分析と実験により、オフライン正則化と標準的な RLHF 定式化によって意図された KL 発散正則化の間の接続と微妙な違いが明らかになりました。
全体として、私たちの結果は、アライメントの実践者に新しいアルゴリズム ツールキットと経験的な洞察を提供します。

要約(オリジナル)

Offline preference optimization allows fine-tuning large models directly from offline data, and has proved effective in recent alignment practices. We propose generalized preference optimization (GPO), a family of offline losses parameterized by a general class of convex functions. GPO enables a unified view over preference optimization, encompassing existing algorithms such as DPO, IPO and SLiC as special cases, while naturally introducing new variants. The GPO framework also sheds light on how offline algorithms enforce regularization, through the design of the convex function that defines the loss. Our analysis and experiments reveal the connections and subtle differences between the offline regularization and the KL divergence regularization intended by the canonical RLHF formulation. In all, our results present new algorithmic toolkits and empirical insights to alignment practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google