BiKC: Keypose-Conditioned Consistency Policy for Bimanual Robotic Manipulation

要約

両手操作タスクには通常、2 つのアーム間の効率的な相互作用が必要な複数の段階が含まれ、模倣学習システムに段階的および段階的な課題をもたらします。
具体的には、1 つのステップの失敗と遅延が時間の経過とともにブロードキャストされ、各サブステージのタスクの成功と効率が妨げられ、それによって全体的なタスクのパフォーマンスが妨げられます。
最近の研究は特定の課題への対処において進歩を遂げていますが、推論速度の重要性を同時に強調しながら、両手タスクの多段階の性質を明示的に考慮しているアプローチはほとんどありません。
この論文では、両手操作に合わせた新しいキーポーズ条件付き一貫性ポリシーを紹介します。
これは、高レベルのキーポーズ予測器と低レベルの軌道ジェネレーターで構成される階層型模倣学習フレームワークです。
予測されたキーポーズは、軌道生成のガイダンスを提供し、1 つのサブステージ タスクの完了をマークします。
軌道ジェネレーターは、蒸留することなく最初からトレーニングされた一貫性モデルとして設計されており、現在の観察と予測されたキーポーズに基づいて条件付けされたアクション シーケンスを高速の推論速度で生成します。
シミュレーションされた現実の実験結果は、提案されたアプローチが成功率と運用効率の点でベースライン手法を上回っていることを示しています。
コードは https://github.com/ManUtdMoon/BiKC で入手できます。

要約(オリジナル)

Bimanual manipulation tasks typically involve multiple stages which require efficient interactions between two arms, posing step-wise and stage-wise challenges for imitation learning systems. Specifically, failure and delay of one step will broadcast through time, hinder success and efficiency of each sub-stage task, and thereby overall task performance. Although recent works have made strides in addressing certain challenges, few approaches explicitly consider the multi-stage nature of bimanual tasks while simultaneously emphasizing the importance of inference speed. In this paper, we introduce a novel keypose-conditioned consistency policy tailored for bimanual manipulation. It is a hierarchical imitation learning framework that consists of a high-level keypose predictor and a low-level trajectory generator. The predicted keyposes provide guidance for trajectory generation and also mark the completion of one sub-stage task. The trajectory generator is designed as a consistency model trained from scratch without distillation, which generates action sequences conditioning on current observations and predicted keyposes with fast inference speed. Simulated and real-world experimental results demonstrate that the proposed approach surpasses baseline methods in terms of success rate and operational efficiency. Codes are available at https://github.com/ManUtdMoon/BiKC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google