PAD: Personalized Alignment at Decoding-Time

要約

文化、教育、政治の違いによって大きく異なる個人の好みに合わせることは、従来の調整方法では計算コストとデータ要求が大きいため、大きな課題となります。
これに応えて、この論文では、推論段階で LLM 出力をさまざまなパーソナライズされた好みに合わせて調整し、追加のトレーニングの必要性を排除するように設計された新しいフレームワークである復号時のパーソナライズド アライメント (PAD) を紹介します。
独自のパーソナライズされた報酬モデリング戦略を導入することにより、このフレームワークはテキスト生成プロセスをパーソナライズされた好みから切り離し、一般化可能なトークンレベルのパーソナライズされた報酬の生成を容易にします。
PAD アルゴリズムは、これらの報酬を活用してデコード プロセスをガイドし、基本モデルの予測を個人の好みに合わせて動的に調整します。
広範な実験結果により、PAD は、多様な設定への調整という点で既存のトレーニングベースの調整方法よりも優れているだけでなく、トレーニング中には見ら​​れなかった設定に対する大幅な一般化可能性と、異なる基本モデルにわたるスケーラビリティも示していることが実証されています。
この取り組みにより、リアルタイム アプリケーションでユーザーのニーズを満たす LLM の機能が向上し、パーソナライズされた LLM の調整において大幅な前進が見られます。

要約(オリジナル)

Aligning with personalized preferences, which vary significantly across cultural, educational, and political differences, poses a significant challenge due to the computational costs and data demands of traditional alignment methods. In response, this paper presents Personalized Alignment at Decoding-time (PAD), a novel framework designed to align LLM outputs with diverse personalized preferences during the inference phase, eliminating the need for additional training. By introducing a unique personalized reward modeling strategy, this framework decouples the text generation process from personalized preferences, facilitating the generation of generalizable token-level personalized rewards. The PAD algorithm leverages these rewards to guide the decoding process, dynamically tailoring the base model’s predictions to personalized preferences. Extensive experimental results demonstrate that PAD not only outperforms existing training-based alignment methods in terms of aligning with diverse preferences but also shows significant generalizability to preferences unseen during training and scalability across different base models. This work advances the capability of LLMs to meet user needs in real-time applications, presenting a substantial step forward in personalized LLM alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google