Visual Robotic Manipulation with Depth-Aware Pretraining

要約

視覚表現学習に関する最近の研究では、ロボット操作タスクに効率的であることが示されています。
しかし、既存の作品のほとんどは、ロボットが 3D 空間で行動することを学習するという事実を無視し、2D 画像や自己中心的なビデオのみで視覚的バックボーンを事前学習しており、2D 観察から学習するのは困難です。
この論文では、操作ポリシーの学習を改善するために、公開されている大規模 3D データを使用した視覚バックボーンの事前トレーニングの有効性を検証します。
私たちの手法、つまりロボット工学のための深度認識事前トレーニング (DPR) により、RGB のみのバックボーンが自己教師あり対比学習から 3D シーン表現を学習できるようになり、深度情報が補助的な知識として機能します。
操作ポリシーの学習と推論中に 3D 情報は必要ないため、モデルは 3D 空間操作の効率と有効性の両方を享受できます。
さらに、ロボットの固有受容をポリシー ネットワークに注入する新しい方法を導入し、操作モデルを堅牢かつ一般化可能にします。
私たちは、提案したフレームワークが、シミュレートされたロボットと実際のロボットの両方で、さまざまなロボットタスクの目に見えないオブジェクトや視覚環境でのパフォーマンスを向上させることを実験で実証します。

要約(オリジナル)

Recent work on visual representation learning has shown to be efficient for robotic manipulation tasks. However, most existing works pretrained the visual backbone solely on 2D images or egocentric videos, ignoring the fact that robots learn to act in 3D space, which is hard to learn from 2D observation. In this paper, we examine the effectiveness of pretraining for vision backbone with public-available large-scale 3D data to improve manipulation policy learning. Our method, namely Depth-aware Pretraining for Robotics (DPR), enables an RGB-only backbone to learn 3D scene representations from self-supervised contrastive learning, where depth information serves as auxiliary knowledge. No 3D information is necessary during manipulation policy learning and inference, making our model enjoy both efficiency and effectiveness in 3D space manipulation. Furthermore, we introduce a new way to inject robots’ proprioception into the policy networks that makes the manipulation model robust and generalizable. We demonstrate in experiments that our proposed framework improves performance on unseen objects and visual environments for various robotics tasks on both simulated and real robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google