InterACT: Inter-dependency Aware Action Chunking with Hierarchical Attention Transformers for Bimanual Manipulation

要約

両手操作には、2 つのロボット アームの調整が複雑であるため、単独作業と比較して特有の課題が生じます。
この論文では、特に両手操作用に設計された新しい模倣学習フレームワークである InterACT: 階層的注意トランスフォーマーを使用した相互依存関係を意識したアクション チャンキングを紹介します。
InterACT は、階層的な注意メカニズムを活用して、双腕関節の状態と視覚入力の間の相互依存関係を効果的に捕捉します。
このフレームワークは、セグメントごとおよびセグメント間のアテンション メカニズムを通じてマルチモーダル入力を処理する階層的アテンション エンコーダーと、各アームのアクション予測を並行して生成すると同時に、同期ブロックを通じてアーム間で情報を共有するマルチアーム デコーダーで構成されます。
もう一方のアームの中間出力をコンテキストとして提供します。
さまざまなシミュレートされた現実世界の両手操作タスクで行われた私たちの実験は、InterACT が既存の方法よりも優れていることを実証しました。
詳細なアブレーション研究により、CLS トークン、クロスセグメント エンコーダー、同期ブロックがタスクのパフォーマンスに及ぼす影響など、主要コンポーネントの重要性がさらに検証されます。
プロジェクトページでは補足資料やビデオを提供しています。

要約(オリジナル)

Bimanual manipulation presents unique challenges compared to unimanual tasks due to the complexity of coordinating two robotic arms. In this paper, we introduce InterACT: Inter-dependency aware Action Chunking with Hierarchical Attention Transformers, a novel imitation learning framework designed specifically for bimanual manipulation. InterACT leverages hierarchical attention mechanisms to effectively capture inter-dependencies between dual-arm joint states and visual inputs. The framework comprises a Hierarchical Attention Encoder, which processes multi-modal inputs through segment-wise and cross-segment attention mechanisms, and a Multi-arm Decoder that generates each arm’s action predictions in parallel, while sharing information between the arms through synchronization blocks by providing the other arm’s intermediate output as context. Our experiments, conducted on various simulated and real-world bimanual manipulation tasks, demonstrate that InterACT outperforms existing methods. Detailed ablation studies further validate the significance of key components, including the impact of CLS tokens, cross-segment encoders, and synchronization blocks on task performance. We provide supplementary materials and videos on our project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google