I Think, Therefore I am: Awareness in Large Language Models

要約

大規模言語モデル (LLM) は人間と同様の何らかの形の認識を示しますか?
この論文では、LLM に認識の概念を導入し、LLM が倫理的な対応を確保しながら人間との相互作用を強化するには、認識が信頼性の重要な側面であると主張します。
私たちは、LLM の認識を、自分自身を AI モデルとして認識して理解し、社会的インテリジェンスを示す能力として定義します。
私たちは、能力、使命、感情、視点という意識の 4 つの主要な側面を特定します。
これらの次元で LLM を評価するために、特殊なデータセットである AwareLLM データセットを導入します。
私たちの調査結果では、LLM はまだ十分な能力認識を欠いているものの、ある程度の認識を示していることが明らかになりました。

要約(オリジナル)

Do large language models (LLMs) exhibit any forms of awareness similar to humans? In this paper, we introduce the concept of awareness to LLMs, arguing that awareness is an essential aspect of trustworthiness for LLMs to enhance their interaction with humans while ensuring ethical responses. We define awareness in LLMs as the ability to perceive and understand themselves as AI models and to exhibit social intelligence. We identify four key dimensions of awareness: capability, mission, emotion, and perspective. To assess LLMs on these dimensions, we introduce a specialized dataset, AwareLLM dataset. Our findings reveal that LLMs demonstrate a decent degree of awareness, though they still lack substantial capability awareness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google