Robust Imitation Learning for Mobile Manipulator Focusing on Task-Related Viewpoints and Regions

要約

移動マニピュレータの視覚運動ポリシーを視覚観察の観点から一般化する方法を研究します。
モバイル マニピュレータは、単一の視点のみを使用する場合には自身の本体によるオクルージョンが発生しやすく、さまざまな状況で展開される場合にはドメインが大きく変化する傾向があります。
しかし、著者の知る限り、オクルージョンとドメインシフトを同時に解決し、堅牢なポリシーを提案できた研究はありません。
本稿では、複数の視点を観察する際に、タスク関連の視点とその空間領域に焦点を当てる、モバイルマニピュレータのためのロバストな模倣学習手法を提案します。
複数視点ポリシーには、拡張データセットで学習される注意メカニズムが含まれており、オクルージョンやドメイン シフトに対する最適な視点と堅牢な視覚的埋め込みを実現します。
さまざまなタスクおよび環境に対する結果を以前の研究の結果と比較すると、提案した方法により成功率が最大 29.3 ポイント向上することが明らかになりました。
また、私たちが提案した方法を使用したアブレーション研究も行っています。
複数の視点データセットからタスク関連の視点を学習すると、独自に定義された視点を使用する場合よりもオクルージョンに対する堅牢性が向上します。
タスク関連領域に焦点を当てることで、ドメイン移行に対する成功率が最大 33.3 ポイント向上します。

要約(オリジナル)

We study how to generalize the visuomotor policy of a mobile manipulator from the perspective of visual observations. The mobile manipulator is prone to occlusion owing to its own body when only a single viewpoint is employed and a significant domain shift when deployed in diverse situations. However, to the best of the authors’ knowledge, no study has been able to solve occlusion and domain shift simultaneously and propose a robust policy. In this paper, we propose a robust imitation learning method for mobile manipulators that focuses on task-related viewpoints and their spatial regions when observing multiple viewpoints. The multiple viewpoint policy includes attention mechanism, which is learned with an augmented dataset, and brings optimal viewpoints and robust visual embedding against occlusion and domain shift. Comparison of our results for different tasks and environments with those of previous studies revealed that our proposed method improves the success rate by up to 29.3 points. We also conduct ablation studies using our proposed method. Learning task-related viewpoints from the multiple viewpoints dataset increases robustness to occlusion than using a uniquely defined viewpoint. Focusing on task-related regions contributes to up to a 33.3-point improvement in the success rate against domain shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google