Contrastive Imitation Learning for Language-guided Multi-Task Robotic Manipulation

要約

自然言語の指示と複雑な現実世界の環境の視覚的観察に基づいて、さまざまな操作タスクを実行できるロボットの開発は、ロボット工学における大きな課題のままです。
このようなロボット エージェントは、言語コマンドを理解し、さまざまなタスクの要件を区別する必要があります。
この研究では、マルチタスクのロボット操作のためのエンドツーエンドの模倣学習エージェントである Sigma-Agent を紹介します。
Sigma-Agent には、視覚言語と現在と未来の表現を強化するために、対照的模倣学習 (対照的 IL) モジュールが組み込まれています。
代表的な意味情報を集約するための効果的かつ効率的なマルチビュークエリトランスフォーマー(MVQ-Former)が導入されています。
Sigma-Agent は、18 の RLBench タスクにおける多様な設定下で最先端の手法と比べて大幅な改善を示し、10 回と 100 回のデモン​​ストレーション トレーニングでそれぞれ RVT を平均 5.2% と 5.9% 上回りました。
また、Sigma-Agent は、5 つの実際の操作タスクにおいて 1 つのポリシーで 62% の成功率を達成しています。
コードは承認され次第公開されます。

要約(オリジナル)

Developing robots capable of executing various manipulation tasks, guided by natural language instructions and visual observations of intricate real-world environments, remains a significant challenge in robotics. Such robot agents need to understand linguistic commands and distinguish between the requirements of different tasks. In this work, we present Sigma-Agent, an end-to-end imitation learning agent for multi-task robotic manipulation. Sigma-Agent incorporates contrastive Imitation Learning (contrastive IL) modules to strengthen vision-language and current-future representations. An effective and efficient multi-view querying Transformer (MVQ-Former) for aggregating representative semantic information is introduced. Sigma-Agent shows substantial improvement over state-of-the-art methods under diverse settings in 18 RLBench tasks, surpassing RVT by an average of 5.2% and 5.9% in 10 and 100 demonstration training, respectively. Sigma-Agent also achieves 62% success rate with a single policy in 5 real-world manipulation tasks. The code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google