RVT-2: Learning Precise Manipulation from Few Demonstrations

要約

この研究では、言語命令が与えられた複数の 3D 操作タスクを解決できるロボット システムを構築する方法を研究します。
産業および家庭の分野で役立つためには、このようなシステムは、少ないデモンストレーションで新しいタスクを学習し、それらを正確に解決できなければなりません。
PerAct や RVT などの以前の研究ではこの問題が研究されてきましたが、高精度を必要とするタスクに苦労することがよくあります。
私たちは、それらをより効果的、正確かつ迅速に行う方法を研究しています。
アーキテクチャレベルとシステムレベルの改善を組み合わせて、以前の RVT と比べてトレーニングで 6 倍、推論で 2 倍高速なマルチタスク 3D 操作モデルである RVT-2 を提案します。
RVT-2 は RLBench で新たな最先端技術を実現し、成功率を 65% から 82% に向上させます。
RVT-2は実社会でも効果を発揮し、プラグの抜き差しなど高精度が要求される作業をわずか10回のデモン​​ストレーションで学習できます。
視覚的な結果、コード、トレーニングされたモデルは、https://robotic-view-transformer-2.github.io/ で提供されます。

要約(オリジナル)

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google