Retrieval-Augmented Embodied Agents

要約

複雑で不確実な環境で活動する身体化エージェントは、かなりの課題に直面します。
一部の高度なエージェントは複雑な操作タスクを熟練して処理しますが、その成功は多くの場合、能力を開発するための広範なトレーニング データにかかっています。
対照的に、人間は通常、新しい問題を解決するために過去の経験や類似の状況を思い出すことに依存しています。
この人間のアプローチをロボット工学でエミュレートすることを目的として、検索拡張身体エージェント (RAEA) を導入します。
この革新的なシステムはロボットに共有メモリを装備し、ロボットのパフォーマンスを大幅に向上させます。
私たちのアプローチはポリシー取得機能を統合しており、ロボットがマルチモーダル入力に基づいて外部ポリシー メモリ バンクから関連する戦略にアクセスできるようにします。
さらに、ポリシー ジェネレーターを使用してこれらの戦略を学習プロセスに組み込むことで、ロボットがタスクに対する効果的な応答を作成できるようになります。
シミュレーションシナリオと現実世界のシナリオの両方での RAEA の広範なテストにより、従来の方法よりも優れたパフォーマンスが実証され、ロボット技術の大きな進歩を表しています。

要約(オリジナル)

Embodied agents operating in complex and uncertain environments face considerable challenges. While some advanced agents handle complex manipulation tasks with proficiency, their success often hinges on extensive training data to develop their capabilities. In contrast, humans typically rely on recalling past experiences and analogous situations to solve new problems. Aiming to emulate this human approach in robotics, we introduce the Retrieval-Augmented Embodied Agent (RAEA). This innovative system equips robots with a form of shared memory, significantly enhancing their performance. Our approach integrates a policy retriever, allowing robots to access relevant strategies from an external policy memory bank based on multi-modal inputs. Additionally, a policy generator is employed to assimilate these strategies into the learning process, enabling robots to formulate effective responses to tasks. Extensive testing of RAEA in both simulated and real-world scenarios demonstrates its superior performance over traditional methods, representing a major leap forward in robotic technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google