LLM as A Robotic Brain: Unifying Egocentric Memory and Control

要約

タイトル：LLMをロボットの脳として：エゴセントリックな記憶と制御を統合する

要旨：
-　物理的または仮想的な具現化を持つ、環境と動的に相互作用するインテリジェントシステム（つまり、ロボット）の研究・開発は、具現化AIと呼ばれます。
-　具現化システムには、記憶と制御の2つが必要であるが、一般にそれぞれをモデル化するために別々のフレームワークが必要です。
-　本論文では、LLM-Brainという新しい汎用フレームワークを提案し、エゴセントリックな記憶と制御を統合する。LLM-Brainフレームワークは、多数のマルチモーダル言語モデルをロボットタスクに統合し、ゼロショット学習アプローチを利用する。
-　LLM-Brainのすべてのコンポーネントは、感覚、計画、制御、および記憶を包括するクローズドループのマルチラウンド対話を行いながら、自然言語を使用してコミュニケーションを取ります。
-　システムの中心は、エゴセントリックな記憶を維持し、ロボットを制御するための具現化LLMです。
– active explorationタスクとembodied question answeringタスクによってLLM-Brainをデモンストレーションし、前者は制限された行動数で未知の環境を広範に探索する必要があるため、後者は以前の探索で入手した観察に基づいてロボットが質問に答える必要がある。

要約(オリジナル)

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI