A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models

要約

個々のユーザーの好みに合わせてLLMを調整するプロセスである大規模な言語モデル（LLMS）のパーソナライズされた優先アライメントは、NLPとパーソナライズの領域にまたがる新たな研究方向です。
この調査では、LLMSの個別のアラインメントとモデリングに関する研究の分析を提示します。
トレーニング時間、推論時間、さらにユーザーモデリングベースの方法など、優先順位アライメント手法の分類法を紹介します。
テクニックの各グループの長所と制限に関する分析と議論を提供し、その後、フィールドのオープンな問題だけでなく、評価、ベンチマーク、およびカバーします。

要約(オリジナル)

Personalized preference alignment for large language models (LLMs), the process of tailoring LLMs to individual users’ preferences, is an emerging research direction spanning the area of NLP and personalization. In this survey, we present an analysis of works on personalized alignment and modeling for LLMs. We introduce a taxonomy of preference alignment techniques, including training time, inference time, and additionally, user-modeling based methods. We provide analysis and discussion on the strengths and limitations of each group of techniques and then cover evaluation, benchmarks, as well as open problems in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google