MrSteve: Instruction-Following Agents in Minecraft with What-Where-When Memory

要約

LLM で拡張された階層的アプローチの採用により、Minecraft のような環境での汎用の身体化 AI の開発が大幅に進歩しました。
高レベルのプランナーと低レベルのコントローラーを組み合わせたこれらのアプローチは有望ですが、低レベルのコントローラーは度重なる障害によりパフォーマンスのボトルネックになることがよくあります。
この論文では、多くの低レベル コントローラーの障害の主な原因はエピソード記憶システムの欠如であると主張します。
これに対処するために、エピソードから何を、どこで、いつ情報をキャプチャするエピソード記憶の形式であるプレイス イベント メモリ (PEM) を備えた新しい低レベル コントローラーである MrSteve (Memory Recall Steve-1) を紹介します。
これは、一般的な低レベル コントローラーである Steve-1 の主な制限に直接対処します。
短期記憶に依存する以前のモデルとは異なり、PEM は空間データとイベントベースのデータを整理し、長期タスクにおける効率的な呼び出しとナビゲーションを可能にします。
さらに、探索戦略とメモリ拡張型タスク解決フレームワークを提案し、エージェントが思い出したイベントに基づいて探索とタスク解決を交互に行えるようにします。
私たちのアプローチは、既存の方法と比較して、タスク解決と探索の効率を大幅に向上させます。
コードとデモはプロジェクト ページ https://sites.google.com/view/mr-steve で公開します。

要約(オリジナル)

Significant advances have been made in developing general-purpose embodied AI in environments like Minecraft through the adoption of LLM-augmented hierarchical approaches. While these approaches, which combine high-level planners with low-level controllers, show promise, low-level controllers frequently become performance bottlenecks due to repeated failures. In this paper, we argue that the primary cause of failure in many low-level controllers is the absence of an episodic memory system. To address this, we introduce MrSteve (Memory Recall Steve-1), a novel low-level controller equipped with Place Event Memory (PEM), a form of episodic memory that captures what, where, and when information from episodes. This directly addresses the main limitation of the popular low-level controller, Steve-1. Unlike previous models that rely on short-term memory, PEM organizes spatial and event-based data, enabling efficient recall and navigation in long-horizon tasks. Additionally, we propose an Exploration Strategy and a Memory-Augmented Task Solving Framework, allowing agents to alternate between exploration and task-solving based on recalled events. Our approach significantly improves task-solving and exploration efficiency compared to existing methods. We will release our code and demos on the project page: https://sites.google.com/view/mr-steve.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google