SLYKLatent: A Learning Framework for Gaze Estimation Using Deep Facial Feature Learning

要約

この研究では、偶然の不確実性、共変シフト、およびテストドメインの一般化によるデータセットの外観の不安定性の課題に対処することで視線推定を強化する新しいアプローチである SLYKLatent を紹介します。
SLYKLatent は、顔の表情データセットを使用した初期トレーニングに自己教師あり学習を利用し、その後、パッチベースの 3 ブランチ ネットワークと逆説明分散加重トレーニング損失関数を使用して改良します。
ベンチマーク データセットでの評価では、Gaze360 で 10.9% の改善を達成し、MPIIFaceGaze のトップ結果の 3.8% を上回り、ETH-XGaze のサブセットで 11.6% リードし、既存の手法を大幅に上回りました。
RAF-DB と Affectnet の適応性テストでは、それぞれ 86.4% と 60.9% の精度が示されました。
アブレーション研究により、SLYKLatent の新規コンポーネントの有効性が確認されています。

要約(オリジナル)

In this research, we present SLYKLatent, a novel approach for enhancing gaze estimation by addressing appearance instability challenges in datasets due to aleatoric uncertainties, covariant shifts, and test domain generalization. SLYKLatent utilizes Self-Supervised Learning for initial training with facial expression datasets, followed by refinement with a patch-based tri-branch network and an inverse explained variance-weighted training loss function. Our evaluation on benchmark datasets achieves a 10.9% improvement on Gaze360, supersedes top MPIIFaceGaze results with 3.8%, and leads on a subset of ETH-XGaze by 11.6%, surpassing existing methods by significant margins. Adaptability tests on RAF-DB and Affectnet show 86.4% and 60.9% accuracies, respectively. Ablation studies confirm the effectiveness of SLYKLatent’s novel components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google