Do LLMs Have Distinct and Consistent Personality? TRAIT: Personality Testset designed for LLMs with Psychometrics

要約

大規模な言語モデル（LLMS）の最近の進歩により、会話エージェントとしてのさまざまなドメインでの適応が生まれました。
私たちは疑問に思っています：人間と同様に、それらの行動を分析するために、これらのエージェントに性格テストを適用できますか？
LLMSの性格を評価するために設計された8Kマルチ選択質問で構成される新しいベンチマークである特性を紹介します。
特性は、2つの心理測定的に検証された小さな人間のアンケート、ビッグファイブインベントリ（BFI）と短いダークトライアド（SD-3）に基づいて構築され、Atomic-10Xナレッジグラフでさまざまな現実世界のシナリオに強化されています。
また、特性は、信頼性と妥当性の点でLLMの既存の人格テストを上回り、コンテンツの妥当性、内部妥当性、拒否率、信頼性の4つの重要なメトリックで最高のスコアを達成します。
特性を使用して、LLMSの性格に関する2つの顕著な洞察を明らかにします。1）LLMSは、トレーニングデータ（たとえば、アライメントチューニングに使用されるデータなど）に大きく影響され、現在のプロンプトテクニックが、この方向性の必要性の必要性を示唆する特定の特性や低い特性などの特定の特性を誘発する際に限られた有効性を示します。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have led to their adaptation in various domains as conversational agents. We wonder: can personality tests be applied to these agents to analyze their behavior, similar to humans? We introduce TRAIT, a new benchmark consisting of 8K multi-choice questions designed to assess the personality of LLMs. TRAIT is built on two psychometrically validated small human questionnaires, Big Five Inventory (BFI) and Short Dark Triad (SD-3), enhanced with the ATOMIC-10X knowledge graph to a variety of real-world scenarios. TRAIT also outperforms existing personality tests for LLMs in terms of reliability and validity, achieving the highest scores across four key metrics: Content Validity, Internal Validity, Refusal Rate, and Reliability. Using TRAIT, we reveal two notable insights into personalities of LLMs: 1) LLMs exhibit distinct and consistent personality, which is highly influenced by their training data (e.g., data used for alignment tuning), and 2) current prompting techniques have limited effectiveness in eliciting certain traits, such as high psychopathy or low conscientiousness, suggesting the need for further research in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google