PAD: Personalized Alignment of LLMs at Decoding-Time

要約

文化的、教育的、政治的な違いによって大きく異なるパーソナライズされた好みに合わせて、従来の調整方法の計算コストとデータの要求により、重要な課題をもたらします。
これに応じて、このペーパーでは、DECODING TIME（PAD）でのパーソナライズされたアライメントを提示します。これは、推論フェーズ中にLLM出力を多様なパーソナライズされた好みに合わせて設計された新しいフレームワークであり、追加のトレーニングの必要性を排除します。
ユニークなパーソナライズされた報酬モデリング戦略を導入することにより、このフレームワークは、テキスト生成プロセスをパーソナライズされた好みから切り離し、一般化可能なトークンレベルのパーソナライズされた報酬の生成を促進します。
パッドアルゴリズムは、これらの報酬を活用してデコードプロセスをガイドし、ベースモデルの予測をパーソナライズされた好みに合わせて動的に調整します。
広範な実験結果は、PADが多様な好みとの整合性の観点から既存のトレーニングベースのアライメント方法を上回るだけでなく、異なるベースモデルでトレーニング中に目に見えない好みに対する重要な一般化可能性を示していることを示しています。
この作業は、リアルタイムアプリケーションでユーザーのニーズを満たすためにLLMの能力を進め、パーソナライズされたLLMアライメントにおいて大きな前進を示します。

要約(オリジナル)

Aligning with personalized preferences, which vary significantly across cultural, educational, and political differences, poses a significant challenge due to the computational costs and data demands of traditional alignment methods. In response, this paper presents Personalized Alignment at Decoding-time (PAD), a novel framework designed to align LLM outputs with diverse personalized preferences during the inference phase, eliminating the need for additional training. By introducing a unique personalized reward modeling strategy, this framework decouples the text generation process from personalized preferences, facilitating the generation of generalizable token-level personalized rewards. The PAD algorithm leverages these rewards to guide the decoding process, dynamically tailoring the base model’s predictions to personalized preferences. Extensive experimental results demonstrate that PAD not only outperforms existing training-based alignment methods in terms of aligning with diverse preferences but also shows significant generalizability to preferences unseen during training and scalability across different base models. This work advances the capability of LLMs to meet user needs in real-time applications, presenting a substantial step forward in personalized LLM alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google