FreeGaze: Resource-efficient Gaze Estimation via Frequency Domain Contrastive Learning

要約

視線推定は、認知心理学の基礎研究から注意を認識するモバイル システムに至るまで、多くの科学分野や日常のアプリケーションにとって非常に重要です。
深層学習の最近の進歩は、非常に正確な視線推定システムの構築において目覚ましい成功を収めましたが、それに伴う高い計算コストと、教師あり学習のための大規模なラベル付き視線データへの依存により、既存のソリューションの実用化に課題が生じています。
これらの制限を超えて移動するために、教師なし視線表現学習のためのリソース効率の高いフレームワークである FreeGaze を紹介します。
FreeGaze は、周波数領域の視線推定と対照的な視線表現の学習を設計に組み込んでいます。
前者は、システムのキャリブレーションと視線推定の両方で計算負荷を大幅に軽減し、システムの待ち時間を劇的に短縮します。
後者は、既存の教師あり学習ベースのカウンターパートのデータ ラベル付けのハードルを克服し、注視ラベルがない場合でも効率的な注視表現学習を保証します。
2 つの視線推定データセットの評価では、FreeGaze が既存の教師あり学習ベースのアプローチと同等の視線推定精度を達成できる一方で、システムのキャリブレーションと視線推定でそれぞれ最大 6.81 倍と 1.67 倍のスピードアップを実現できることが示されています。

要約(オリジナル)

Gaze estimation is of great importance to many scientific fields and daily applications, ranging from fundamental research in cognitive psychology to attention-aware mobile systems. While recent advancements in deep learning have yielded remarkable successes in building highly accurate gaze estimation systems, the associated high computational cost and the reliance on large-scale labeled gaze data for supervised learning place challenges on the practical use of existing solutions. To move beyond these limitations, we present FreeGaze, a resource-efficient framework for unsupervised gaze representation learning. FreeGaze incorporates the frequency domain gaze estimation and the contrastive gaze representation learning in its design. The former significantly alleviates the computational burden in both system calibration and gaze estimation, and dramatically reduces the system latency; while the latter overcomes the data labeling hurdle of existing supervised learning-based counterparts, and ensures efficient gaze representation learning in the absence of gaze label. Our evaluation on two gaze estimation datasets shows that FreeGaze can achieve comparable gaze estimation accuracy with existing supervised learning-based approach, while enabling up to 6.81 and 1.67 times speedup in system calibration and gaze estimation, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google