Personality Alignment of Large Language Models

要約

大規模言語モデル (LLM) を調整するための現在の方法は、通常、一般的な人間の価値観や行動を反映することを目的としていますが、個々のユーザーの固有の特性や好みを捉えることができないことがよくあります。
このギャップに対処するために、私たちは性格調整の概念を導入します。
このアプローチでは、LLM の応答と決定を、個々のユーザーまたは密接に関連するグループの特定の好みに合わせて調整します。
心理測定にインスピレーションを得て、私たちはパーソナリティ インベントリーによるパーソナリティ アラインメント (PAPI) データセットを作成しました。これには 300,000 人の実際の被験者からのデータが含まれており、それぞれがビッグ 5 パーソナリティ要素に基づく行動の好みを提供します。
このデータセットを使用すると、LLM が各被験者の行動パターンにどの程度一致するかを定量的に評価できます。
限られた個人データ、多様な好み、スケーラビリティ要件など、性格調整の課題を認識して、私たちは活性化介入の最適化手法を開発しました。
この方法は、最小限のデータと計算リソースを使用して、個人の行動の好みに効率的に合わせる LLM の能力を強化します。
注目すべきことに、私たちの手法である PAS は、DPO と比較して最適化にかかる時間の 1/5 しか必要とせずに優れたパフォーマンスを達成し、性格の調整に実用的な価値を提供します。
私たちの取り組みは、将来の AI システムが真に個性的な方法で意思決定と推論を行う道を切り開き、各ユーザーに対する AI インタラクションの関連性と意味を強化し、人間中心の人工知能を進化させます。コードは \url{https:// でリリースされました。
github.com/zhu-minjun/PAlign}。

要約(オリジナル)

Current methods for aligning large language models (LLMs) typically aim to reflect general human values and behaviors, but they often fail to capture the unique characteristics and preferences of individual users. To address this gap, we introduce the concept of Personality Alignment. This approach tailors LLMs’ responses and decisions to match the specific preferences of individual users or closely related groups. Inspired by psychometrics, we created the Personality Alignment with Personality Inventories (PAPI) dataset, which includes data from 300,000 real subjects, each providing behavioral preferences based on the Big Five Personality Factors. This dataset allows us to quantitatively evaluate the extent to which LLMs can align with each subject’s behavioral patterns. Recognizing the challenges of personality alignments: such as limited personal data, diverse preferences, and scalability requirements: we developed an activation intervention optimization method. This method enhances LLMs’ ability to efficiently align with individual behavioral preferences using minimal data and computational resources. Remarkably, our method, PAS, achieves superior performance while requiring only 1/5 of the optimization time compared to DPO, offering practical value for personality alignment. Our work paves the way for future AI systems to make decisions and reason in truly personality ways, enhancing the relevance and meaning of AI interactions for each user and advancing human-centered artificial intelligence.The code has released in \url{https://github.com/zhu-minjun/PAlign}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google