Categorizing the Visual Environment and Analyzing the Visual Attention of Dogs

要約

犬は人間と独自の進化関係を持っており、多くの重要な役割を果たしています。
捜索と救助、盲目的な援助、精神的なサポート。
しかし、犬が利用できる視覚的特徴や物体、さらに犬が環境内でどのように視覚的注意を向けるかを分類するデータセットはほとんど存在しません。
私たちは、11,698 件以上の視線を含むデータセットを収集して研究し、大学のキャンパスや都市部の散歩など、日常の屋外環境で 11 頭の犬が見つめる対象を分類しました。
私たちは、頭に装着した視線追跡装置を使用して、これらのオブジェクトカテゴリの利用可能性と、これらのカテゴリに対する犬の視覚的注意を調査します。
収集されたデータのごく一部 (約 600 枚の画像、またはデータセット全体の 20% 未満) を使用して、新しい画像ドメインの MaskRCNN を微調整して、シーン内に存在するオブジェクトをセグメント化し、視覚的な視線傾向に関するさらなる統計分析を可能にします。
犬。
MaskRCNN は視線追跡装置を備えており、犬の固視を自動的に分類するためのエンドツーエンドのモデルとして機能します。
微調整された MaskRCNN は偶然よりもはるかに優れたパフォーマンスを発揮します。
11 頭の犬の間には個体差はほとんどなく、バス、プラント、舗装、建設機械への視線の集中がより顕著であることが観察されました。
この研究は、犬の視覚的な行動と、犬と物理世界との相互作用を理解するための一歩を踏み出します。

要約(オリジナル)

Dogs have a unique evolutionary relationship with humans and serve many important roles e.g. search and rescue, blind assistance, emotional support. However, few datasets exist to categorize visual features and objects available to dogs, as well as how dogs direct their visual attention within their environment. We collect and study a dataset with over 11,698 gazes to categorize the objects available to be gazed at by 11 dogs in everyday outdoor environments i.e. a walk around a college campus and urban area. We explore the availability of these object categories and the visual attention of dogs over these categories using a head mounted eye tracking apparatus. A small portion (approx. 600 images or < 20% of total dataset) of the collected data is used to fine tune a MaskRCNN for the novel image domain to segment objects present in the scene, enabling further statistical analysis on the visual gaze tendencies of dogs. The MaskRCNN, with eye tracking apparatus, serves as an end to end model for automatically classifying the visual fixations of dogs. The fine tuned MaskRCNN performs far better than chance. There are few individual differences between the 11 dogs and we observe greater visual fixations on buses, plants, pavement, and construction equipment. This work takes a step towards understanding visual behavior of dogs and their interaction with the physical world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google