‘Labelling the Gaps’: A Weakly Supervised Automatic Eye Gaze Estimation

要約

過去数年間、監督が制限された制約のない環境で視線方向を解釈することに関心が高まっています。
データのキュレーションと注釈の問題により、制約のない屋外や AR/VR などの他のプラットフォームに視線推定方法を複製すると、モデル トレーニング用の正確に注釈が付けられたデータが十分に利用できないため、パフォーマンスが大幅に低下する可能性があります。
この論文では、限られた量のラベル付きデータを使用した視線推定方法の興味深いが挑戦的な問題を探ります。
提案された方法は、視覚的特徴を持つラベル付きサブセットから知識を抽出します。
アイデンティティ固有の外観、視線軌跡の一貫性、モーション機能など。
視線軌跡が与えられると、この方法は、視線シーケンスの開始フレームと終了フレームのみのラベル情報を利用します。
提案された方法の拡張により、ラベル付きフレームの要件が開始フレームのみにさらに削減され、生成されたラベルの品質がわずかに低下します。
4 つのベンチマーク データセット (CAVE、TabletGaze、MPII、および Gaze360) と Web クロールされた YouTube ビデオで提案された方法を評価します。
私たちが提案した方法は、パフォーマンスへの影響を最小限に抑えながら、アノテーションの労力を 2.67% まで削減します。
これは、視線推定の「野生」セットアップを可能にするモデルの可能性を示しています。

要約(オリジナル)

Over the past few years, there has been an increasing interest to interpret gaze direction in an unconstrained environment with limited supervision. Owing to data curation and annotation issues, replicating gaze estimation method to other platforms, such as unconstrained outdoor or AR/VR, might lead to significant drop in performance due to insufficient availability of accurately annotated data for model training. In this paper, we explore an interesting yet challenging problem of gaze estimation method with a limited amount of labelled data. The proposed method distills knowledge from the labelled subset with visual features; including identity-specific appearance, gaze trajectory consistency and motion features. Given a gaze trajectory, the method utilizes label information of only the start and the end frames of a gaze sequence. An extension of the proposed method further reduces the requirement of labelled frames to only the start frame with a minor drop in the generated label’s quality. We evaluate the proposed method on four benchmark datasets (CAVE, TabletGaze, MPII and Gaze360) as well as web-crawled YouTube videos. Our proposed method reduces the annotation effort to as low as 2.67%, with minimal impact on performance; indicating the potential of our model enabling gaze estimation ‘in-the-wild’ setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google