iCub Detecting Gazed Objects: A Pipeline Estimating Human Attention

要約

この論文では、人間とロボットの相互作用における視線の役割を調査し、視覚フィードバックのみを使用して人間が注視している物体を検出するための新しいシステムを提案します。
このシステムは、顔検出、人間の注意予測、オンラインの物体検出を活用しており、ロボットが人間の視線を正確に認識して解釈できるようにし、人間のパートナーとの共同注意を確立するための道を開きます。
さらに、人型ロボット iCub で収集された新しいデータセットが紹介されます。これは、さまざまな注釈付きオブジェクトを見つめる 10 人の参加者からの 22,000 枚を超える画像で構成されています。
このデータセットは、提案されたパイプラインのパフォーマンスを評価するためのベンチマークとして機能します。
この論文には、人間とロボットの対話設定におけるパイプラインの有効性の実験分析も含まれており、各コンポーネントのパフォーマンスを調べています。
さらに、開発したシステムは人型ロボット iCub に導入され、補足ビデオでその機能が紹介されています。
この結果は、提案されたアプローチがソーシャル ロボット工学における社会的認識と反応性を強化するだけでなく、協調シナリオにおける支援とサポートを向上させ、人間とロボットの効率的なコラボレーションを促進する可能性を示しています。
コードと収集されたデータセットは、承認され次第リリースされます。

要約(オリジナル)

This paper explores the role of eye gaze in human-robot interactions and proposes a novel system for detecting objects gazed by the human using solely visual feedback. The system leverages on face detection, human attention prediction, and online object detection, and it allows the robot to perceive and interpret human gaze accurately, paving the way for establishing joint attention with human partners. Additionally, a novel dataset collected with the humanoid robot iCub is introduced, comprising over 22,000 images from ten participants gazing at different annotated objects. This dataset serves as a benchmark for evaluating the performance of the proposed pipeline. The paper also includes an experimental analysis of the pipeline’s effectiveness in a human-robot interaction setting, examining the performance of each component. Furthermore, the developed system is deployed on the humanoid robot iCub, and a supplementary video showcases its functionality. The results demonstrate the potential of the proposed approach to enhance social awareness and responsiveness in social robotics, as well as improve assistance and support in collaborative scenarios, promoting efficient human-robot collaboration. The code and the collected dataset will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google