LLM as A Robotic Brain: Unifying Egocentric Memory and Control

要約

タイトル：LLMをロボットの脳として：自己中心的な記憶と制御を統合する

要約：
– 外部と動的に相互作用するロボットを含む身体的なAIの研究と開発に注目している。
– 記憶と制御は、身体化システムの2つの必須要素であり、通常、それぞれをモデル化するために別々のフレームワークが必要である。
– 本論文では、言語モデルをロボットの脳として使用し、自己中心的な記憶と制御を統合するLLM-Brainという新しい一般化可能なフレームワークを提案する。
– LLM-Brainは、多数の多言語モデルをロボットタスクに統合し、ゼロショット学習アプローチを使用する。
– LLM-Brain内のすべてのコンポーネントは、WBI対話を使用して閉ループ多ラウンド対話を行い、知覚、計画、制御および記憶を包括する。
– システムの中心は、自己中心的な記憶を維持し、ロボットを制御するための身体化LLMである。
– LLM-Brainは、アクティブ探索と身体化質問応答の2つのダウンストリームタスクを検証することによってデモンストレーションされる。
– アクティブ探索タスクは、ロボットが限られたアクション回数以内で未知の環境を広範囲に探索する必要がある。
– 一方、身体化質問応答タスクでは、ロボットが以前の探査で取得した観察に基づいて質問に答える必要がある。

要約(オリジナル)

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI