Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards

要約

大規模言語モデル (LLM) に対するきめ細かい制御は依然として大きな課題であり、多様なユーザー ニーズへの適応性を妨げています。
ヒューマン フィードバックからの強化学習 (RLHF) は LLM の調整に有望ですが、スカラー報酬への依存により、現実世界のアプリケーションで多様なユーザーの好みを捕捉する能力が制限されることがよくあります。
この制限に対処するために、Directional Preference Alignment (DPA) フレームワークを導入します。
スカラー報酬 RLHF とは異なり、DPA には、多様な選好プロファイルを表すために多目的報酬モデリングが組み込まれています。
さらに、DPA はユーザーの好みを報酬空間の方向 (つまり、単位ベクトル) としてモデル化し、ユーザー依存の好みの制御を実現します。
私たちの手法には、多目的報酬モデルをトレーニングし、Llama 2 で採用されている RLHF 手法である拒否サンプリング微調整 (RSF) の優先条件付きバリアントを使用して LLM を微調整することが含まれます。この手法は、さまざまな特性にわたってパフォーマンスのトレードオフが優れています。
報酬の目標。
スカラー報酬 RLHF と比較して、DPA はユーザーに LLM 生成の直観的な制御を提供します。ユーザーは、希望するトレードオフ (たとえば、冗長性を減らして有用性を高めるなど) を算術的に指定できます。
また、ミストラル 7B での実世界の位置合わせ実験により DPA の有効性を検証します。
私たちの手法は、Direct Preference Optimization (DPO) などの強力なベースラインで競争力のあるパフォーマンスを維持しながら、有用性と冗長性の間のトレードオフを簡単に算術制御できます。

要約(オリジナル)

Fine-grained control over large language models (LLMs) remains a significant challenge, hindering their adaptability to diverse user needs. While Reinforcement Learning from Human Feedback (RLHF) shows promise in aligning LLMs, its reliance on scalar rewards often limits its ability to capture diverse user preferences in real-world applications. To address this limitation, we introduce the Directional Preference Alignment (DPA) framework. Unlike the scalar-reward RLHF, DPA incorporates multi-objective reward modeling to represent diverse preference profiles. Additionally, DPA models user preferences as directions (i.e., unit vectors) in the reward space to achieve user-dependent preference control. Our method involves training a multi-objective reward model and then fine-tuning the LLM with a preference-conditioned variant of Rejection Sampling Finetuning (RSF), an RLHF method adopted by Llama 2. This method enjoys a better performance trade-off across various reward objectives. In comparison with the scalar-reward RLHF, DPA offers users intuitive control over LLM generation: they can arithmetically specify their desired trade-offs (e.g., more helpfulness with less verbosity). We also validate the effectiveness of DPA with real-world alignment experiments on Mistral-7B. Our method provides straightforward arithmetic control over the trade-off between helpfulness and verbosity while maintaining competitive performance with strong baselines such as Direct Preference Optimization (DPO).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google