3D-MVP: 3D Multiview Pretraining for Robotic Manipulation

要約

最近の研究では、マスクされたオートエンコーダー (MAE) を使用した自己中心的なデータセットの視覚的な事前トレーニングにより、下流のロボット工学タスクの一般化が向上できることが示されています。
ただし、これらのアプローチは 2D 画像でのみ事前トレーニングされるのに対し、多くのロボット工学アプリケーションでは 3D シーンの理解が必要です。
この研究では、マスクされたオートエンコーダを使用した 3D マルチビュー事前トレーニングの新しいアプローチである 3D-MVP を提案します。
マルチビュー トランスフォーマーを使用して 3D シーンを理解し、グリッパーのポーズ アクションを予測する Robotic View Transformer (RVT) を活用します。
RVT のマルチビュー トランスフォーマーをビジュアル エンコーダーとアクション デコーダーに分割し、Objaverse などの大規模 3D データセットでマスクされた自動エンコーディングを使用してビジュアル エンコーダーを事前トレーニングします。
一連の仮想ロボット操作タスクで 3D-MVP を評価し、ベースラインを超えるパフォーマンスの向上を実証します。
また、微調整を最小限に抑えた実際のロボット プラットフォームでも有望な結果が得られることを示します。
私たちの結果は、3D 認識の事前トレーニングがサンプル効率を向上させ、ビジョンベースのロボット操作ポリシーを一般化するための有望なアプローチであることを示唆しています。
今後の研究を促進するために、3D-MVP のコードと事前トレーニングされたモデルをリリースする予定です。
プロジェクトサイト: https://jasonqsy.github.io/3DMVP

要約(オリジナル)

Recent works have shown that visual pretraining on egocentric datasets using masked autoencoders (MAE) can improve generalization for downstream robotics tasks. However, these approaches pretrain only on 2D images, while many robotics applications require 3D scene understanding. In this work, we propose 3D-MVP, a novel approach for 3D multi-view pretraining using masked autoencoders. We leverage Robotic View Transformer (RVT), which uses a multi-view transformer to understand the 3D scene and predict gripper pose actions. We split RVT’s multi-view transformer into visual encoder and action decoder, and pretrain its visual encoder using masked autoencoding on large-scale 3D datasets such as Objaverse. We evaluate 3D-MVP on a suite of virtual robot manipulation tasks and demonstrate improved performance over baselines. We also show promising results on a real robot platform with minimal finetuning. Our results suggest that 3D-aware pretraining is a promising approach to improve sample efficiency and generalization of vision-based robotic manipulation policies. We will release code and pretrained models for 3D-MVP to facilitate future research. Project site: https://jasonqsy.github.io/3DMVP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google