Sensorimotor features of self-awareness in multimodal large language models

要約

自己認識 – 自分自身を周囲の環境と区別する能力 – は、インテリジェントで自律的な行動を支えます。
AIの最近の進歩は、特に大規模な言語モデルでマルチモーダル情報を統合するタスクで人間のようなパフォーマンスを達成し、ロボットなどの人間以外のプラットフォームでAIエージェントの具体化能力に関心を高めています。
ここでは、マルチモーダルLLMが感覚運動体験のみを通じて自己認識を発達させることができるかどうかを調査します。
マルチモーダルLLMを自律的なモバイルロボットに統合することにより、この能力を達成する能力をテストします。
このシステムは、堅牢な環境認識、自己認識、予測的認識を示し、ロボットの性質と運動の特性を推測できることがわかります。
構造方程式モデリングは、感覚統合が自己認識の明確な次元と過去に存在する記憶との調整にどのように影響するか、および自己識別を促進する階層的な内部関連付けにどのように影響するかを明らかにします。
感覚入力のアブレーションテストは、各次元の重要なモダリティを特定し、センサー間の代償相互作用を示し、コヒーレント推論における構造化されたエピソード記憶の本質的な役割を確認します。
これらの発見は、世界とそれ自体に関する適切な感覚情報を考えると、マルチモーダルLLMが緊急の自己認識を示し、人工具体化された認知システムへの扉を開くことを示しています。

要約(オリジナル)

Self-awareness – the ability to distinguish oneself from the surrounding environment – underpins intelligent, autonomous behavior. Recent advances in AI achieve human-like performance in tasks integrating multimodal information, particularly in large language models, raising interest in the embodiment capabilities of AI agents on nonhuman platforms such as robots. Here, we explore whether multimodal LLMs can develop self-awareness solely through sensorimotor experiences. By integrating a multimodal LLM into an autonomous mobile robot, we test its ability to achieve this capacity. We find that the system exhibits robust environmental awareness, self-recognition and predictive awareness, allowing it to infer its robotic nature and motion characteristics. Structural equation modeling reveals how sensory integration influences distinct dimensions of self-awareness and its coordination with past-present memory, as well as the hierarchical internal associations that drive self-identification. Ablation tests of sensory inputs identify critical modalities for each dimension, demonstrate compensatory interactions among sensors and confirm the essential role of structured and episodic memory in coherent reasoning. These findings demonstrate that, given appropriate sensory information about the world and itself, multimodal LLMs exhibit emergent self-awareness, opening the door to artificial embodied cognitive systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google