Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models

要約

大規模な言語モデル（LLMS）の性格特性を評価することに関心が高まっています。
ただし、自己報告アンケートに基づく従来の人格評価は、固有のバイアスとメタ知識の汚染のために、真の行動ニュアンスを捉えることができない場合があります。
このペーパーでは、心理学における情報提供者レポート法からインスピレーションを引き出すLLMパーソナリティ評価のための新しいマルチオーバーバーフレームワークを紹介します。
自己評価のみに依存する代わりに、私たちのアプローチでは、特定の関係コンテキスト（家族、友人、職場など）で構成された複数のオブザーバーエージェントを使用して、対象のLLMを使用してインタラクティブなシナリオをシミュレートします。
これらのオブザーバーは対話に従事し、その後、ビッグファイブパーソナリティディメンション全体で評価を提供します。
私たちの実験では、LLMが自己報告の性格評価に系統的なバイアスを持っていることが明らかになりました。
さらに、観測者の評価を集約すると、非体系的なバイアスが効果的に減少し、5〜7人のオブザーバーと最適な信頼性が得られます。
調査結果は、人格の知覚に対する関係のコンテキストの重要な影響を強調し、マルチオーバーバーパラダイムがLLMパーソナリティ特性のより堅牢でコンテキストに敏感な評価をもたらすことを示しています。

要約(オリジナル)

There is a growing interest in assessing the personality traits of Large language models (LLMs). However, traditional personality assessments based on self-report questionnaires may fail to capture their true behavioral nuances due to inherent biases and meta-knowledge contamination. This paper introduces a novel multi-observer framework for LLM personality assessment that draws inspiration from informant-report methods in psychology. Instead of relying solely on self-assessments, our approach employs multiple observer agents configured with a specific relationship context (e.g., family, friend, or workplace) to simulate interactive scenarios with a subject LLM. These observers engage in dialogues and subsequently provide ratings across the Big Five personality dimensions. Our experiments reveal that LLMs possess systematic biases in self-report personality ratings. Moreover, aggregating observer ratings effectively reduces non-systematic biases and achieves optimal reliability with 5-7 observers. The findings highlight the significant impact of relationship context on personality perception and demonstrate that a multi-observer paradigm yields a more robust and context-sensitive evaluation of LLM personality traits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google