要約
人間とロボットのコラボレーションにより、ユーザーはインタラクティブなタスクの効率が向上します。
それにもかかわらず、ほとんどの協調スキームは複雑なヒューマンマシンインターフェイスに依存しており、自然な四肢制御と比較して必要な直観性に欠けている可能性があります。
また、低いトレーニング データ要件で人間の意図を理解できることも期待されています。
これらの課題に対応して、この論文では、手のジェスチャーと動的動作の認識、音声認識、および切り替え可能な制御適応戦略をシームレスに統合する、革新的な人間とロボットの協調フレームワークを紹介します。
これらのモジュールは、特にユーザーが両手で作業している場合に、ロボットがユーザーのニーズに応じてツールを提供できるようにするユーザーフレンドリーなアプローチを提供します。
したがって、ユーザーは、ロボットがユーザーの直感的なジェスチャーを解釈しながら、ヒューマン マシン インターフェイスの使用に関する追加のトレーニングを必要とせずに、タスクの実行に集中できます。
提案されたマルチモーダル インタラクション フレームワークは、RealSense D435i カメラを備えた UR5e ロボット プラットフォームで実行され、回路基板のはんだ付けタスクを通じて有効性が評価されます。
実験結果では、ハンド ジェスチャ認識において優れたパフォーマンスが実証されており、静的ハンド ジェスチャ認識モジュールは 94.3\% の精度を達成し、動的モーション認識モジュールは 97.6\% の精度に達しました。
人間の単独操作と比較して、提案されたアプローチは、人間の意図を大きく妨げることなく、より効率的なツールの提供を容易にします。
要約(オリジナル)
Human-robot collaboration has benefited users with higher efficiency towards interactive tasks. Nevertheless, most collaborative schemes rely on complicated human-machine interfaces, which might lack the requisite intuitiveness compared with natural limb control. We also expect to understand human intent with low training data requirements. In response to these challenges, this paper introduces an innovative human-robot collaborative framework that seamlessly integrates hand gesture and dynamic movement recognition, voice recognition, and a switchable control adaptation strategy. These modules provide a user-friendly approach that enables the robot to deliver the tools as per user need, especially when the user is working with both hands. Therefore, users can focus on their task execution without additional training in the use of human-machine interfaces, while the robot interprets their intuitive gestures. The proposed multimodal interaction framework is executed in the UR5e robot platform equipped with a RealSense D435i camera, and the effectiveness is assessed through a soldering circuit board task. The experiment results have demonstrated superior performance in hand gesture recognition, where the static hand gesture recognition module achieves an accuracy of 94.3\%, while the dynamic motion recognition module reaches 97.6\% accuracy. Compared with human solo manipulation, the proposed approach facilitates higher efficiency tool delivery, without significantly distracting from human intents.
arxiv情報
| 著者 | Haolin Fei,Stefano Tedeschi,Yanpei Huang,Andrew Kennedy,Ziwei Wang |
| 発行日 | 2023-09-20 14:51:09+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google