iCub Detecting Gazed Objects: A Pipeline Estimating Human Attention

要約

この研究レポートは、人間とロボットの相互作用における視線の役割を調査し、視覚的なフィードバックのみを使用して人間が見つめている物体を検出するための学習システムを提案します。
このシステムは、顔検出、人間の注意予測、オンライン物体検出を活用しており、ロボットが人間の視線を正確に認識して解釈できるようにし、人間のパートナーとの共同注意を確立するための道を開きます。
さらに、人型ロボット iCub で収集された新しいデータセットが紹介されます。これは、さまざまな注釈付きオブジェクトを見つめる 10 人の参加者からの 22,000 枚を超える画像で構成されています。
このデータセットは、テーブルトップのヒューマン ロボット インタラクション (HRI) コンテキストにおける人間の視線推定分野のベンチマークとして機能します。
この作業では、提案されたパイプラインのパフォーマンスを評価し、各コンポーネントのパフォーマンスを調べるためにこれを使用します。
さらに、開発されたシステムは iCub に展開され、補足ビデオでその機能が紹介されています。
この結果は、提案されたアプローチが、ソーシャル ロボット工学における社会的認識と反応性を向上させるための最初のステップとしての可能性を示し、また、協調シナリオにおける支援とサポートを改善して、人間とロボットの効率的なコラボレーションを促進することを示しています。

要約(オリジナル)

This research report explores the role of eye gaze in human-robot interactions and proposes a learning system for detecting objects gazed at by humans using solely visual feedback. The system leverages face detection, human attention prediction, and online object detection, and it allows the robot to perceive and interpret human gaze accurately, paving the way for establishing joint attention with human partners. Additionally, a novel dataset collected with the humanoid robot iCub is introduced, comprising over 22,000 images from ten participants gazing at different annotated objects. This dataset serves as a benchmark for the field of human gaze estimation in table-top human-robot interaction (HRI) contexts. In this work, we use it to evaluate the performance of the proposed pipeline and examine the performance of each component. Furthermore, the developed system is deployed on the iCub, and a supplementary video showcases its functionality. The results demonstrate the potential of the proposed approach as a first step to enhance social awareness and responsiveness in social robotics, as well as improve assistance and support in collaborative scenarios, promoting efficient human-robot collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google