Real-Time Dynamic Robot-Assisted Hand-Object Interaction via Motion Primitives

要約

人工知能 (AI) の進歩により、ヒューマン ロボット インタラクション (HRI) テクノロジーの進化が推進されています。
しかし、シームレスなインタラクション、特に人間との物理的接触が必要なタスクを実現するには、依然として大きな課題が残っています。
これらの課題は、人間の動作の正確なリアルタイム認識、ロボットの適応制御アルゴリズム、および人間とロボットの動作間の効果的な調整の必要性から生じます。
この論文では、動的ロボット支援ハンドオブジェクトインタラクション (HOI) に焦点を当てて物理 HRI を強化するアプローチを提案します。
私たちの方法論は、手の姿勢推定、適応ロボット制御、およびモーションプリミティブを統合して、人間とロボットのコラボレーションを促進します。
具体的には、トランスフォーマーベースのアルゴリズムを採用して、単一の RGB 画像から人間の手のリアルタイム 3D モデリングを実行します。これに基づいて、人間の手の動きをロボットの動作に変換するモーション プリミティブ モデル (MPM) が設計されています。
ロボットのアクションの実装は、継続的に更新される 3D ハンド モデルを使用して動的に微調整されます。
リング装着タスクを含む実験的検証により、リアルタイムの動きに適応し、正確なタスクの実行を支援するシステムの有効性が実証されました。

要約(オリジナル)

Advances in artificial intelligence (AI) have been propelling the evolution of human-robot interaction (HRI) technologies. However, significant challenges remain in achieving seamless interactions, particularly in tasks requiring physical contact with humans. These challenges arise from the need for accurate real-time perception of human actions, adaptive control algorithms for robots, and the effective coordination between human and robotic movements. In this paper, we propose an approach to enhancing physical HRI with a focus on dynamic robot-assisted hand-object interaction (HOI). Our methodology integrates hand pose estimation, adaptive robot control, and motion primitives to facilitate human-robot collaboration. Specifically, we employ a transformer-based algorithm to perform real-time 3D modeling of human hands from single RGB images, based on which a motion primitives model (MPM) is designed to translate human hand motions into robotic actions. The robot’s action implementation is dynamically fine-tuned using the continuously updated 3D hand models. Experimental validations, including a ring-wearing task, demonstrate the system’s effectiveness in adapting to real-time movements and assisting in precise task executions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google