PersonalLLM: Tailoring LLMs to Individual Preferences

要約

LLMが複雑なタスクになると、ユーザーの微妙で特異な好みに合わせたパーソナライズされた相互作用の可能性が高まっています。
特定のユーザーに最大限の利点を提供するためにLLMSの適応に焦点を当てて、パブリックベンチマークであるPersonAlllmを提示します。
暗黙的に均一な好みを想定する既存のアライメントベンチマークから離れると、ユーザーが異種の潜在的な好みを表示することが期待される多くの高品質の回答と組み合わせたオープンエンドプロンプトをキュレートします。
高レベルの属性（ユーザーの人種や応答の長さなど）に基づいたペルソナ宣伝LLMSの代わりに、人間と比較して均一な好みを生み出します。
訓練された報酬モデル。
当社のデータセットと生成されたパーソナリティは、他の（同様の）ユーザーからの履歴データを活用することにより、継続的なデータスパース（特定のユーザーからのFEW関連フィードバック）に取り組むパーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
Personalllmの有用性を説明し、将来の方法論的開発の必要性を強調するために、基本的なコンテキスト内学習とメタ学習ベースラインを調査します。
データセットはhttps://huggingface.co/datasets/namkoong-lab/personalllmで入手できます

要約(オリジナル)

As LLMs become capable of complex tasks, there is growing potential for personalized interactions tailored to the subtle and idiosyncratic preferences of the user. We present a public benchmark, PersonalLLM, focusing on adapting LLMs to provide maximal benefits for a particular user. Departing from existing alignment benchmarks that implicitly assume uniform preferences, we curate open-ended prompts paired with many high-quality answers over which users would be expected to display heterogeneous latent preferences. Instead of persona-prompting LLMs based on high-level attributes (e.g., user’s race or response length), which yields homogeneous preferences relative to humans, we develop a method that can simulate a large user base with diverse preferences from a set of pre-trained reward models. Our dataset and generated personalities offer an innovative testbed for developing personalization algorithms that grapple with continual data sparsity–few relevant feedback from the particular user–by leveraging historical data from other (similar) users. We explore basic in-context learning and meta-learning baselines to illustrate the utility of PersonalLLM and highlight the need for future methodological development. Our dataset is available at https://huggingface.co/datasets/namkoong-lab/PersonalLLM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google