RVT: Robotic View Transformer for 3D Object Manipulation

要約

3D オブジェクト操作の場合、明示的な 3D 表現を構築するメソッドは、カメラ画像のみに依存するメソッドよりもパフォーマンスが高くなります。
しかし、ボクセルのような明示的な 3D 表現を使用すると、膨大な計算コストがかかり、スケーラビリティに悪影響を及ぼします。
この研究では、スケーラブルで正確な 3D 操作用のマルチビュー トランスフォーマである RVT を提案します。
RVT の主な機能には、ビュー全体で情報を集約するアテンション メカニズムと、ロボット ワークスペースの周囲の仮想ビューからのカメラ入力の再レンダリングがあります。
シミュレーションでは、単一の RVT モデルが 249 のタスク バリエーションを持つ 18 の RLBench タスクにわたって適切に機能し、既存の最先端の手法 (PerAct) よりも 26% 高い相対的成功を達成していることがわかりました。
また、同じパフォーマンスを達成するために PerAct よりも 36 倍速くトレーニングし、PerAct の 2.3 倍の推論速度を達成します。
さらに、RVT は、タスクごとにわずか数回 ($\sim$10) のデモンストレーションを行うだけで、現実世界でさまざまな操作タスクを実行できます。
視覚的な結果、コード、トレーニングされたモデルは https://robotic-view-transformer.github.io/ で提供されます。

要約(オリジナル)

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few ($\sim$10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google