LLM as A Robotic Brain: Unifying Egocentric Memory and Control

要約

タイトル：LLMはロボットの脳として機能する：Egocentric MemoryとControlの統合

要約：

– LLM-Brainという新しい枠組みを提案
– LLM-Brainは、物理的または仮想的な具現化を持つ知能システム（すなわちロボット）の研究と開発に焦点を当てており、環境と動的に相互作用できるようになっている
– ロボットシステムの2つの必須要素であるMemoryとControlをモデル化するために通常は別々のフレームワークが必要であったが、LLM-Brainはこれらを統合することができる
– LLM-Brainは、Zero-shot learningアプローチを利用して、ロボットタスクのために複数の多言語モデルを統合する
– LLM-Brain内のすべてのコンポーネントは、認識、計画、制御、およびメモリを包含する閉ループのマルチラウンド対話で自然言語を使用してコミュニケーションを行う
– システムの核心は、ロボットのegocentric memoryを維持し、制御するためのLLM
– LLM-Brainの有効性を実証するために、2つのダウンストリームタスクであるアクティブな探索と具現化された質問応答を調査する

要約(オリジナル)

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI