Personalize Your LLM: Fake it then Align it

要約

大規模な言語モデル（LLM）のパーソナライズは、ユーザーエクスペリエンスを向上させるテーラードインタラクションを提供するために不可欠です。
多くの既存のパーソナライズ方法には、各ユーザーにLLMを微調整する必要があり、広範な採用のためにそれらを法外に高価にします。
検索ベースのアプローチは、より計算効率の良い代替品を提供しますが、すべてのユーザーが一貫して利用できない大規模で高品質のデータセットに依存しています。
この課題に対処するために、（1）自己生成された個人選好データと（2）迅速で費用対効果の高いパーソナライズを可能にするために（2）表現編集を使用するスケーラブルで効率的なパーソナライズアプローチであるChameleonを提案します。
ランプパーソナライゼーションベンチマークのものを含むさまざまなタスクに関する実験は、Chameleonがモデルを個人的な好みに効率的に適応させ、命令チューニングモデルを改善し、2つのモデルアーキテクチャで平均40％の2つのパーソナライズベースラインを上回ることを示しています。

要約(オリジナル)

Personalizing large language models (LLMs) is essential for delivering tailored interactions that improve user experience. Many existing personalization methods require fine-tuning LLMs for each user, rendering them prohibitively expensive for widespread adoption. Although retrieval-based approaches offer a more compute-efficient alternative, they still depend on large, high-quality datasets that are not consistently available for all users. To address this challenge, we propose CHAMELEON, a scalable and efficient personalization approach that uses (1) self-generated personal preference data and (2) representation editing to enable quick and cost-effective personalization. Our experiments on various tasks, including those from the LaMP personalization benchmark, show that CHAMELEON efficiently adapts models to personal preferences, improving instruction-tuned models and outperforms two personalization baselines by an average of 40% across two model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google