Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework

要約

バイマニュアルロボット操作は、ロボットコミュニティで新たに重要なトピックです。
以前の作品は、主に、両方のアームの認識と状態を入力として取得する統合制御モデルに依存して、そのアクションを直接予測しています。
ただし、双方向の操作には、調整されたタスクだけでなく、実行中に明示的な協力を必要としないさまざまな協調的なタスクも含まれます。
この論文では、両操作におけるさまざまなタスクの特性を考慮する新しい分離された相互作用フレームワークを提案します。
私たちのフレームワークの重要な洞察は、独立したモデルを各アームに割り当てて、調整されていないタスクの学習を強化すると同時に、独自の腕から体重を適応的に学習して調整されたタスクの学習を改善する選択的相互作用モジュールを導入することです。
RobotWinデータセットの7つのタスクに関する広範な実験は、次のことを示しています。（1）SOTAメソッドを23.5％増加させて、フレームワークが優れたパフォーマンスを達成します。
（2）私たちのフレームワークは柔軟であり、既存の方法にシームレスに統合できます。
（3）当社のフレームワークは、マルチエージェント操作タスクに効果的に拡張でき、統合されたコントロールSOTAを28％増加させることができます。
（4）パフォーマンスブーストは、デカップされたデザイン自体に由来し、ソタを16.5％上回り、モデルサイズの1/6のみを超えています。

要約(オリジナル)

Bimanual robotic manipulation is an emerging and critical topic in the robotics community. Previous works primarily rely on integrated control models that take the perceptions and states of both arms as inputs to directly predict their actions. However, we think bimanual manipulation involves not only coordinated tasks but also various uncoordinated tasks that do not require explicit cooperation during execution, such as grasping objects with the closest hand, which integrated control frameworks ignore to consider due to their enforced cooperation in the early inputs. In this paper, we propose a novel decoupled interaction framework that considers the characteristics of different tasks in bimanual manipulation. The key insight of our framework is to assign an independent model to each arm to enhance the learning of uncoordinated tasks, while introducing a selective interaction module that adaptively learns weights from its own arm to improve the learning of coordinated tasks. Extensive experiments on seven tasks in the RoboTwin dataset demonstrate that: (1) Our framework achieves outstanding performance, with a 23.5% boost over the SOTA method. (2) Our framework is flexible and can be seamlessly integrated into existing methods. (3) Our framework can be effectively extended to multi-agent manipulation tasks, achieving a 28% boost over the integrated control SOTA. (4) The performance boost stems from the decoupled design itself, surpassing the SOTA by 16.5% in success rate with only 1/6 of the model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google