LLM as A Robotic Brain: Unifying Egocentric Memory and Control

要約

身体的 AI は、物理的または仮想的な具現化 (ロボットなど) を持ち、その環境と動的に対話できるインテリジェント システムの研究と開発に焦点を当てています。
メモリと制御は、具体化されたシステムの 2 つの重要な部分であり、通常、それぞれをモデル化するには別個のフレームワークが必要です。
この論文では、自己中心的な記憶と制御を統合するロボットの頭脳として大規模言語モデルを使用する、LLM-Brain と呼ばれる新規で一般化可能なフレームワークを提案します。
LLM-Brain フレームワークは、ゼロショット学習アプローチを利用して、ロボット タスク用の複数のマルチモーダル言語モデルを統合します。
LLM-Brain 内のすべてのコンポーネントは、知覚、計画、制御、記憶を含む閉ループのマルチラウンド対話で自然言語を使用して通信します。
システムの中核は、自己中心的な記憶を維持し、ロボットを制御するための具体化された LLM です。
アクティブな探索と具体的な質問応答という 2 つの下流タスクを調べることによって、LLM-Brain を実証します。
アクティブな探索タスクでは、ロボットが限られた数のアクション内で未知の環境を広範囲に探索する必要があります。
一方、具体化された質問応答タスクでは、ロボットが事前の探索中に取得した観察に基づいて質問に答える必要があります。

要約(オリジナル)

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google