Decoding-time Realignment of Language Models

要約

言語モデルを人間の好みに合わせることが、これらのモデルのエラーやバイアスを減らすために重要です。
ヒューマン フィードバックからの強化学習 (RLHF) などのアライメント手法は、通常、人間の好みの報酬と、アライメントされていないモデルに近づくことを促す近接正則化項との間のトレードオフを最適化するものとして位置付けられます。
適切な正則化レベルを選択することが重要です。正則化が不十分だと報酬ハッキングによりモデルの機能が低下する可能性があり、一方、過剰な正則化は位置合わせを妨げます。
最適な正則化レベルを見つけるための従来の方法では、さまざまな正則化強度で複数のモデルを再トレーニングする必要があります。
ただし、このプロセスは、特に大規模なモデルの場合、リソースを大量に消費します。
この課題に対処するために、再トレーニングせずに、整列されたモデルのさまざまな正則化強度を調査および評価する簡単な方法である、復号時再調整 (DeRa) を提案します。
DeRa を使用すると、位置合わせの度合いを制御できるため、ユーザーは位置合わせされていないモデルと位置合わせされたモデルの間をスムーズに移行できます。
また、検証データセットを使用して効果的な正則化強度を特定できるため、ハイパーパラメーター調整の効率も向上します。

要約(オリジナル)

Aligning language models with human preferences is crucial for reducing errors and biases in these models. Alignment techniques, such as reinforcement learning from human feedback (RLHF), are typically cast as optimizing a tradeoff between human preference rewards and a proximity regularization term that encourages staying close to the unaligned model. Selecting an appropriate level of regularization is critical: insufficient regularization can lead to reduced model capabilities due to reward hacking, whereas excessive regularization hinders alignment. Traditional methods for finding the optimal regularization level require retraining multiple models with varying regularization strengths. This process, however, is resource-intensive, especially for large models. To address this challenge, we propose decoding-time realignment (DeRa), a simple method to explore and evaluate different regularization strengths in aligned models without retraining. DeRa enables control over the degree of alignment, allowing users to smoothly transition between unaligned and aligned models. It also enhances the efficiency of hyperparameter tuning by enabling the identification of effective regularization strengths using a validation dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google