Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation

要約

人間は、ビジョンとタッチを使用して複雑な接触豊富なタスクを達成でき、環境の変化に対する迅速な調整や接触力の適応制御などの非常に反応性のある機能を備えています。
ただし、これはロボットにとって挑戦的なままです。
既存の視覚的模倣学習（IL）アプローチは、複雑な動作をモデル化するためのアクションチャンキングに依存しています。
さらに、ほとんどのテレオ操作システムは、実行できるタスクの範囲を制限する微調整された触覚 /力のフィードバックを提供するのに苦労しています。
これらの課題に対処するために、拡張現実（AR）を介してリアルタイムの触覚フィードバックを提供する低コストの視聴システム（AR）と、接触豊富な操作スキルを学習するための新規遅い視覚視覚模倣学習アルゴリズムであるReactive拡散ポリシー（RDP）とともに、Tactarを紹介します。
RDPは、2レベルの階層を採用しています。（1）低周波数の潜在空間での高レベルのアクションチャンクを予測するための遅い潜在的拡散ポリシー、（2）高周波での閉ループ触覚フィードバック制御のための高速非対称トークネザー。
この設計により、統一されたフレームワーク内で複雑な軌跡モデリングと迅速な反応挙動の両方が可能になります。
3つの挑戦的な接触豊富なタスクにわたる広範な評価を通じて、RDPは、触覚 /力のフィードバックに対する迅速な反応を通じて、最先端の視覚的なILベースラインと比較してパフォーマンスを大幅に向上させます。
さらに、実験では、RDPが異なる触覚 /力センサーに適用可能であることが示されています。
コードとビデオは、https：//reative-diffusion-policy.github.io/で入手できます。

要約(オリジナル)

Humans can accomplish complex contact-rich tasks using vision and touch, with highly reactive capabilities such as quick adjustments to environmental changes and adaptive control of contact forces; however, this remains challenging for robots. Existing visual imitation learning (IL) approaches rely on action chunking to model complex behaviors, which lacks the ability to respond instantly to real-time tactile feedback during the chunk execution. Furthermore, most teleoperation systems struggle to provide fine-grained tactile / force feedback, which limits the range of tasks that can be performed. To address these challenges, we introduce TactAR, a low-cost teleoperation system that provides real-time tactile feedback through Augmented Reality (AR), along with Reactive Diffusion Policy (RDP), a novel slow-fast visual-tactile imitation learning algorithm for learning contact-rich manipulation skills. RDP employs a two-level hierarchy: (1) a slow latent diffusion policy for predicting high-level action chunks in latent space at low frequency, (2) a fast asymmetric tokenizer for closed-loop tactile feedback control at high frequency. This design enables both complex trajectory modeling and quick reactive behavior within a unified framework. Through extensive evaluation across three challenging contact-rich tasks, RDP significantly improves performance compared to state-of-the-art visual IL baselines through rapid response to tactile / force feedback. Furthermore, experiments show that RDP is applicable across different tactile / force sensors. Code and videos are available on https://reactive-diffusion-policy.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google