Visual Reinforcement Learning with Self-Supervised 3D Representations

要約

視覚強化学習 (RL) への顕著なアプローチは、自己教師ありメソッドを使用して内部状態表現を学習することです。これには、追加の学習信号と誘導バイアスによるサンプル効率の向上と一般化の潜在的な利点があります。
ただし、現実の世界は本質的に 3D ですが、これまでの取り組みは主に補助的な自己監視として 2D コンピューター ビジョン技術を活用することに重点が置かれていました。
この作業では、モーター制御のための 3D 表現の自己教師あり学習のための統一されたフレームワークを提示します。
提案されたフレームワークは、2 つのフェーズで構成されます。深いボクセルベースの 3D オートエンコーダーが大規模なオブジェクト中心のデータセットで事前トレーニングされる事前トレーニング フェーズと、ドメイン内データの RL と一緒に表現が共同で微調整される微調整フェーズです。
私たちの方法は、2D 表現学習方法と比較して、シミュレートされた操作タスクで改善されたサンプル効率を享受することを経験的に示しています。
さらに、学習したポリシーは、おおよその幾何学的対応のみを使用して、ゼロ ショットを実際のロボット セットアップに転送し、キャリブレーションされていない単一の RGB カメラからの把持と持ち上げを含むモーター制御タスクを正常に解決します。
コードとビデオは https://yanjieze.com/3d4rl/ で入手できます。

要約(オリジナル)

A prominent approach to visual Reinforcement Learning (RL) is to learn an internal state representation using self-supervised methods, which has the potential benefit of improved sample-efficiency and generalization through additional learning signal and inductive biases. However, while the real world is inherently 3D, prior efforts have largely been focused on leveraging 2D computer vision techniques as auxiliary self-supervision. In this work, we present a unified framework for self-supervised learning of 3D representations for motor control. Our proposed framework consists of two phases: a pretraining phase where a deep voxel-based 3D autoencoder is pretrained on a large object-centric dataset, and a finetuning phase where the representation is jointly finetuned together with RL on in-domain data. We empirically show that our method enjoys improved sample efficiency in simulated manipulation tasks compared to 2D representation learning methods. Additionally, our learned policies transfer zero-shot to a real robot setup with only approximate geometric correspondence, and successfully solve motor control tasks that involve grasping and lifting from a single, uncalibrated RGB camera. Code and videos are available at https://yanjieze.com/3d4rl/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google