Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models

要約

大規模な言語モデル（LLM）が単なるテキストではなく、人間をどれだけ理解しているかを評価することは、未解決の課題のままです。
ギャップを埋めるために、LLMの高次の社会的認知を測定する自動評価フレームワークである裁判官（SAGE）としての感覚エージェントを紹介します。
Sageは、相互作用中に人間のような感情的変化と内なる思考をシミュレートする感覚エージェントを具体化し、マルチターン会話でテストされたモデルのより現実的な評価を提供します。
すべてのターンで、エージェントは（i）感情がどのように変化するか、（ii）どのように感じるか、（iii）それがどのように応答するかについての理由を推論します。
100の支持者向けシナリオでの実験は、最終的な感情的な感情スコアが、バレットレナード関係インベントリ（BLRI）の評価と発話レベルの共感指標と強く相関していることを示しています。
また、フロンティアシステム（GPT-4o-Latest、Gemini2.5-Pro）と以前のベースライン間のかなりのギャップ（最大4倍）を明らかにする18の商用およびオープンソースモデルをカバーする公開されたリーダーボードを構築します。
したがって、セージは、真に共感的で社会的に熟達した言語エージェントに向けて進歩を追跡するための原則的でスケーラブルで解釈可能なツールを提供します。

要約(オリジナル)

Assessing how well a large language model (LLM) understands human, rather than merely text, remains an open challenge. To bridge the gap, we introduce Sentient Agent as a Judge (SAGE), an automated evaluation framework that measures an LLM’s higher-order social cognition. SAGE instantiates a Sentient Agent that simulates human-like emotional changes and inner thoughts during interaction, providing a more realistic evaluation of the tested model in multi-turn conversations. At every turn, the agent reasons about (i) how its emotion changes, (ii) how it feels, and (iii) how it should reply, yielding a numerical emotion trajectory and interpretable inner thoughts. Experiments on 100 supportive-dialogue scenarios show that the final Sentient emotion score correlates strongly with Barrett-Lennard Relationship Inventory (BLRI) ratings and utterance-level empathy metrics, validating psychological fidelity. We also build a public Sentient Leaderboard covering 18 commercial and open-source models that uncovers substantial gaps (up to 4x) between frontier systems (GPT-4o-Latest, Gemini2.5-Pro) and earlier baselines, gaps not reflected in conventional leaderboards (e.g., Arena). SAGE thus provides a principled, scalable and interpretable tool for tracking progress toward genuinely empathetic and socially adept language agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google