Gaze-based Attention Recognition for Human-Robot Collaboration

要約

タイトル：人間とロボットの協力のための視線ベースの注意認識　

要約：

– 注意認識は、人間とロボットの協力を向上させるための重要な要素である。
– ギアボックスを組み立てるために、人間オペレーターとコボットが同等に協力する組立シナリオを提示する。
– シナリオは、オペレーターの関心に応じてコボットの行動を適応させることができる複数の機会を提供する。
– 最初のステップとして、人間オペレーターが注目している作業領域を認識し、それに基づいてオペレーターの気を散らすことを検出する。
– 新しい深層学習アプローチを提案し、注意認識モデルを開発する。
– まず、公開済み画像データセットを使用して注視方向を推定するための畳み込みニューラルネットワークをトレーニングする。
– 次に、転移学習を使用して、事前定義された注目すべき領域に注視方向をマッピングするための小規模データセットを使用する。
– この方法でトレーニングされたモデルは、小規模データセットでのleave-one-subject-out評価でも非常に良好な性能を発揮した。
– 提供された組み立てシナリオでオペレーターとして働く参加者から収集されたビデオスニペットを使用して、モデルの追加のバリデーションを実施した。
– この場合、Distractedクラスのリコールが低かったが、モデルはオペレーターが注意を払った領域を認識する上で良好な性能を発揮した。
– これが、産業用人間-ロボット協働を模倣した設定からのデータを使用して注意認識モデルを検証した最初の研究である。
– 我々の研究成果は、このような完全かつ非ガイド型のシナリオでの注意認識ソリューションの検証の必要性を強調している。

要約(オリジナル)

Attention (and distraction) recognition is a key factor in improving human-robot collaboration. We present an assembly scenario where a human operator and a cobot collaborate equally to piece together a gearbox. The setup provides multiple opportunities for the cobot to adapt its behavior depending on the operator’s attention, which can improve the collaboration experience and reduce psychological strain. As a first step, we recognize the areas in the workspace that the human operator is paying attention to, and consequently, detect when the operator is distracted. We propose a novel deep-learning approach to develop an attention recognition model. First, we train a convolutional neural network to estimate the gaze direction using a publicly available image dataset. Then, we use transfer learning with a small dataset to map the gaze direction onto pre-defined areas of interest. Models trained using this approach performed very well in leave-one-subject-out evaluation on the small dataset. We performed an additional validation of our models using the video snippets collected from participants working as an operator in the presented assembly scenario. Although the recall for the Distracted class was lower in this case, the models performed well in recognizing the areas the operator paid attention to. To the best of our knowledge, this is the first work that validated an attention recognition model using data from a setting that mimics industrial human-robot collaboration. Our findings highlight the need for validation of attention recognition solutions in such full-fledged, non-guided scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI