Never-Ending Behavior-Cloning Agent for Robotic Manipulation

要約

マルチモーダル観察に依存して、身体化されたロボットは、構造化されていない現実世界の環境で複数のロボット操作タスクを実行できます。
しかし、ほとんどの言語条件付き行動複製エージェントは、実際のシナリオで新しい連続タスクに適応する際に、3D シーンの表現と人間レベルのタスク学習という既存の長年の課題に依然として直面しています。
ここでは、先駆的な言語条件付きの終わりのない行動クローン エージェントである、身体化ロボットの NBAgent を使用して、上記の課題を調査します。
新しい 3D シーンのセマンティクスに関する観察知識と、スキル共有属性とスキル固有属性からロボット操作スキルをそれぞれ継続的に学習できます。
具体的には、スキル共有属性から 3D シーンのセマンティクスを効果的に学習し、3D シーン表現の見落としにさらに取り組むために、スキル共有セマンティック レンダリング モジュールとスキル共有表現蒸留モジュールを提案します。
一方、操作知識のデカップリングを実行するスキル固有の進化プランナーを確立します。これにより、潜在的および低ランクの空間から人間のような新しいスキル固有の知識を継続的に埋め込むことができます。
最後に、終わりのない身体化されたロボット操作ベンチマークを設計し、高価な実験によってこの方法の顕著なパフォーマンスが実証されました。
視覚的な結果、コード、データセットは https://neragent.github.io で提供されます。

要約(オリジナル)

Relying on multi-modal observations, embodied robots could perform multiple robotic manipulation tasks in unstructured real-world environments. However, most language-conditioned behavior-cloning agents still face existing long-standing challenges, i.e., 3D scene representation and human-level task learning, when adapting into new sequential tasks in practical scenarios. We here investigate these above challenges with NBAgent in embodied robots, a pioneering language-conditioned Never-ending Behavior-cloning Agent. It can continually learn observation knowledge of novel 3D scene semantics and robot manipulation skills from skill-shared and skill-specific attributes, respectively. Specifically, we propose a skill-sharedsemantic rendering module and a skill-shared representation distillation module to effectively learn 3D scene semantics from skill-shared attribute, further tackling 3D scene representation overlooking. Meanwhile, we establish a skill-specific evolving planner to perform manipulation knowledge decoupling, which can continually embed novel skill-specific knowledge like human from latent and low-rank space. Finally, we design a never-ending embodied robot manipulation benchmark, and expensive experiments demonstrate the significant performance of our method. Visual results, code, and dataset are provided at: https://neragent.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google