Real-Time Imitation of Human Head Motions, Blinks and Emotions by Nao Robot: A Closed-Loop Approach

要約

このペーパーでは、NAOロボットによる人間の頭の動きのリアルタイム模倣を可能にするための新しいアプローチを紹介し、人間とロボットの相互作用の向上に焦点を当てています。
Mediapipeの堅牢な機能をコンピュータービジョンライブラリとして、および感情認識ライブラリとしてディープフェイスを使用することにより、この研究は、瞬きアクションや感情表現など、人間の頭の動きの微妙さを捉えようと努力し、これらの指標をロボットの応答にシームレスに組み込みます。
その結果、ロボットの模倣パフォーマンスからリアルタイムのフィードバックを収集することを伴う閉ループアプローチを利用して、人間とロボットの相互作用内での正確な頭の模倣を促進する包括的なフレームワークが得られます。
このフィードバックループは、ピッチで96.3、ヨーで98.9の印象的なR2スコアによって証明されるように、ヘッドモーションのモデリングの精度を高度に保証します。
特に、提案されたアプローチは、自閉症の子供のコミュニケーションを改善することに有望であり、より効果的な相互作用のための貴重なツールを提供します。
本質的に、提案された作業では、リアルタイムの頭の模倣とリアルタイムの感情認識の統合を探り、人間とロボットの相互作用を強化し、独自のコミュニケーションニーズを持つ個人にとって潜在的な利点をもたらします。

要約(オリジナル)

This paper introduces a novel approach for enabling real-time imitation of human head motion by a Nao robot, with a primary focus on elevating human-robot interactions. By using the robust capabilities of the MediaPipe as a computer vision library and the DeepFace as an emotion recognition library, this research endeavors to capture the subtleties of human head motion, including blink actions and emotional expressions, and seamlessly incorporate these indicators into the robot’s responses. The result is a comprehensive framework which facilitates precise head imitation within human-robot interactions, utilizing a closed-loop approach that involves gathering real-time feedback from the robot’s imitation performance. This feedback loop ensures a high degree of accuracy in modeling head motion, as evidenced by an impressive R2 score of 96.3 for pitch and 98.9 for yaw. Notably, the proposed approach holds promise in improving communication for children with autism, offering them a valuable tool for more effective interaction. In essence, proposed work explores the integration of real-time head imitation and real-time emotion recognition to enhance human-robot interactions, with potential benefits for individuals with unique communication needs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google