Learning Dexterous In-Hand Manipulation with Multifingered Hands via Visuomotor Diffusion

要約

視覚運動拡散ポリシーを使用して、マルチフィンガーの手で器用な操作を学習するためのフレームワークを提示します。
私たちのシステムは、4本指のアレグロハンドの高速で応答性の高いテレオ操作セットアップを活用することにより、片手でボトルの蓋を外すなど、複雑な手の操作タスクを可能にします。
手の動きを追跡し、正確な制御のために逆運動とモーションリターゲティングを適用する拡張現実（AR）インターフェイスを使用して、高品質の専門家デモを収集します。
ARヘッドセットはリアルタイムの視覚化を提供し、ジェスチャーコントロールはテレオ操作を合理化します。
ポリシー学習を強化するために、HDBSCANクラスタリングと階層（GLOSH）アルゴリズムからのグローバルローカルアウトエルスコアに基づいた新しいデモンストレーション外れ値除去アプローチを紹介し、パフォーマンスを低下させる可能性のある低品質のデモンストレーションを効果的に除外します。
現実世界の設定で広範囲にアプローチを評価し、プロジェクトWebサイトですべての実験ビデオを提供します：https：//dex-manip.github.io/

要約(オリジナル)

We present a framework for learning dexterous in-hand manipulation with multifingered hands using visuomotor diffusion policies. Our system enables complex in-hand manipulation tasks, such as unscrewing a bottle lid with one hand, by leveraging a fast and responsive teleoperation setup for the four-fingered Allegro Hand. We collect high-quality expert demonstrations using an augmented reality (AR) interface that tracks hand movements and applies inverse kinematics and motion retargeting for precise control. The AR headset provides real-time visualization, while gesture controls streamline teleoperation. To enhance policy learning, we introduce a novel demonstration outlier removal approach based on HDBSCAN clustering and the Global-Local Outlier Score from Hierarchies (GLOSH) algorithm, effectively filtering out low-quality demonstrations that could degrade performance. We evaluate our approach extensively in real-world settings and provide all experimental videos on the project website: https://dex-manip.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google