PerAct2: Benchmarking and Learning for Robotic Bimanual Manipulation Tasks

要約

両手操作は、2 つのアーム間の正確な空間的および時間的調整が必要なため、困難です。
現実世界にはいくつかの両手操作システムが存在しますが、広範囲の卓上タスクにわたる両手操作の機能を体系的に研究するための、大きなタスクの多様性を備えたシミュレートされたベンチマークが不足しています。
このペーパーでは、RLBench を両手操作に拡張することでこのギャップに対処します。
私たちは、23 の独自のタスク バリエーションを持つ 13 の新しいタスクで構成されるコードとベンチマークをオープンソース化しており、それぞれが高度な調整と適応性を必要とします。
ベンチマークを開始するために、いくつかの最先端のメソッドを両手操作に拡張し、言語条件付き行動クローニング エージェントである PerAct2 も提示しました。これにより、両手操作 6-DoF 操作タスクの学習と実行が可能になります。
当社の新しいネットワーク アーキテクチャは、言語処理と動作予測を効率的に統合し、ユーザーが指定した目標に応じてロボットが複雑な両手タスクを理解して実行できるようにします。
コードを含むプロジェクトの Web サイトは、http://bimanual.github.io から入手できます。

要約(オリジナル)

Bimanual manipulation is challenging due to precise spatial and temporal coordination required between two arms. While there exist several real-world bimanual systems, there is a lack of simulated benchmarks with a large task diversity for systematically studying bimanual capabilities across a wide range of tabletop tasks. This paper addresses the gap by extending RLBench to bimanual manipulation. We open-source our code and benchmark comprising 13 new tasks with 23 unique task variations, each requiring a high degree of coordination and adaptability. To kickstart the benchmark, we extended several state-of-the art methods to bimanual manipulation and also present a language-conditioned behavioral cloning agent — PerAct2, which enables the learning and execution of bimanual 6-DoF manipulation tasks. Our novel network architecture efficiently integrates language processing with action prediction, allowing robots to understand and perform complex bimanual tasks in response to user-specified goals. Project website with code is available at: http://bimanual.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google