Data-adaptive Safety Rules for Training Reward Models

要約

人間のフィードバック（RLHF）からの強化学習は、特に大手言語モデル（LLM）からの出力の安全性を改善するために、人間の好みに合わせてモデルを調整するために一般的に採用されています。
従来、この方法は、ペアから優先される応答を選択することに依存しています。
ただし、人間の意見のばらつきと2つの応答を直接比較する際の課題により、複数のターゲットメトリックまたはルールを使用して応答を評価する微細に成長した注釈アプローチに向けて増加する傾向があります。
この課題は、これらのルールを効率的に選択して適用して、多様な範囲の優先データを処理することにあります。
この論文では、各応答ペアの最も重要なルールを適応的に選択する動的な方法を提案します。
ペアの応答間で最大の矛盾を利用し、このアプローチがルールベースのアノテーションと根本的な真の好みの間の相互情報を最大化することを理論的に実証する数学的枠組みを紹介します。
次に、この適応的にラベル付けされた優先データセットを使用して8B報酬モデルをトレーニングし、報酬ベンチを使用してその有効性を評価します。
2025年1月25日の時点で、私たちのモデルはリーダーボードで最高の安全性能を達成し、さまざまな大きなモデルを超えています。

要約(オリジナル)

Reinforcement Learning from Human Feedback (RLHF) is commonly employed to tailor models to human preferences, especially to improve the safety of outputs from large language models (LLMs). Traditionally, this method depends on selecting preferred responses from pairs. However, due to the variability in human opinions and the challenges in directly comparing two responses, there is an increasing trend towards fine-grained annotation approaches that evaluate responses using multiple targeted metrics or rules. The challenge lies in efficiently choosing and applying these rules to handle the diverse range of preference data. In this paper, we propose a dynamic method that adaptively selects the most important rules for each response pair. We introduce a mathematical framework that utilizes the maximum discrepancy across paired responses and demonstrate theoretically that this approach maximizes the mutual information between the rule-based annotations and the underlying true preferences. We then train an 8B reward model using this adaptively labeled preference dataset and assess its efficacy using RewardBench. As of January 25, 2025, our model achieved the highest safety performance on the leaderboard, surpassing various larger models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google