REWARD CONSISTENCY: Improving Multi-Objective Alignment from a Data-Centric Perspective

要約

言語モデルの多目的選好アライメントは、しばしば挑戦的なトレードオフに遭遇します。1つの人間の好み（例えば、有用性）に対する最適化は、競合する目標間の固有の対立のために他の人（例えば、無害）を頻繁に妥協します。
以前の研究は主にアルゴリズムソリューションに焦点を当てていますが、これらの競合を効果的に軽減できるデータの種類を明らかにするための新しいデータ駆動型アプローチを探ります。
具体的には、複数の優先目標に沿ったサンプルを識別し、それによりトレーニング中の競合を減らすサンプルを識別する報酬一貫性の概念（RC）を提案します。
勾配ベースの分析を通じて、RCに準拠したサンプルが多目的最適化中に本質的にパフォーマンスの低下を制限することを実証します。
これらの洞察に基づいて、報酬の一貫性サンプリングをさらに開発します。これは、多目的アライメント中に競合を効果的に緩和する優先データセットを自動的に構築するフレームワークです。
生成されたデータは、無害性と有用性を最適化する際に無害なレートと有用性の勝利率の両方で13.37％の平均改善を達成し、さまざまな多目的シナリオで競合を一貫して解決できます。

要約(オリジナル)

Multi-objective preference alignment in language models often encounters a challenging trade-off: optimizing for one human preference (e.g., helpfulness) frequently compromises others (e.g., harmlessness) due to the inherent conflicts between competing objectives. While prior work mainly focuses on algorithmic solutions, we explore a novel data-driven approach to uncover the types of data that can effectively mitigate these conflicts. Specifically, we propose the concept of Reward Consistency (RC), which identifies samples that align with multiple preference objectives, thereby reducing conflicts during training. Through gradient-based analysis, we demonstrate that RC-compliant samples inherently constrain performance degradation during multi-objective optimization. Building on these insights, we further develop Reward Consistency Sampling, a framework that automatically constructs preference datasets that effectively mitigate conflicts during multi-objective alignment. Our generated data achieves an average improvement of 13.37% in both the harmless rate and helpfulness win rate when optimizing harmlessness and helpfulness, and can consistently resolve conflicts in varying multi-objective scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google