Academically intelligent LLMs are not necessarily socially intelligent

要約

大規模言語モデル (LLM) の学術的インテリジェンスは最近目覚ましい進歩を遂げていますが、その社会的インテリジェンスのパフォーマンスは依然として不明です。
確立された人間の社会的知能のフレームワーク、特にダニエル・ゴールマンの社会的知能理論に触発され、私たちは、社会的知能の状況評価 (SESI) と呼ばれる、LLM の社会的知能を包括的に評価するために、現実世界の社会シナリオに基づいた標準化された社会的知能テストを開発しました。
。
SESI では、最近人気のある最先端の LLM エージェント 13 社を使用して広範な評価を実施しました。
この結果は、LLM の社会的知性にはまだ改善の余地が大きく、表面的な親しみやすさがエラーの主な原因であることを示しています。
さらに、LLM が示す社会的知性と学術的知性の間には比較的低い相関関係が存在し、LLM にとって社会的知性が学術的知性とは区別されることを示唆しています。
さらに、LLMは社会的知性が何であるかを「理解」できないことが観察されていますが、彼らの社会的知性は人間と同様に、社会的要因の影響を受けます。

要約(オリジナル)

The academic intelligence of large language models (LLMs) has made remarkable progress in recent times, but their social intelligence performance remains unclear. Inspired by established human social intelligence frameworks, particularly Daniel Goleman’s social intelligence theory, we have developed a standardized social intelligence test based on real-world social scenarios to comprehensively assess the social intelligence of LLMs, termed as the Situational Evaluation of Social Intelligence (SESI). We conducted an extensive evaluation with 13 recent popular and state-of-art LLM agents on SESI. The results indicate the social intelligence of LLMs still has significant room for improvement, with superficially friendliness as a primary reason for errors. Moreover, there exists a relatively low correlation between the social intelligence and academic intelligence exhibited by LLMs, suggesting that social intelligence is distinct from academic intelligence for LLMs. Additionally, while it is observed that LLMs can’t “understand” what social intelligence is, their social intelligence, similar to that of humans, is influenced by social factors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google