FLAME: Facial Landmark Heatmap Activated Multimodal Gaze Estimation

要約

3D視線推定は、3D空間での人の視線を予測することです。
同じものの人に依存しないモデルは、被験者の解剖学的な違いのために精度が不足していますが、人固有のキャリブレーションされた手法は、スケーラビリティに厳しい制約を追加します。
これらの問題を克服するために、目のランドマークヒートマップを使用して目の解剖学的情報を組み合わせ、個人固有のキャリブレーションなしで正確な視線推定を取得する方法として、新しい手法である顔面ランドマークヒートマップアクティブ化マルチモーダル視線推定（FLAME）を提案します。
私たちの評価は、ベンチマークデータセットColumbiaGazeとEYEDIAPで約10％の改善という競争力のあるパフォーマンスを示しています。
また、私たちの方法を検証するためにアブレーション研究を実施しています。

要約(オリジナル)

3D gaze estimation is about predicting the line of sight of a person in 3D space. Person-independent models for the same lack precision due to anatomical differences of subjects, whereas person-specific calibrated techniques add strict constraints on scalability. To overcome these issues, we propose a novel technique, Facial Landmark Heatmap Activated Multimodal Gaze Estimation (FLAME), as a way of combining eye anatomical information using eye landmark heatmaps to obtain precise gaze estimation without any person-specific calibration. Our evaluation demonstrates a competitive performance of about 10% improvement on benchmark datasets ColumbiaGaze and EYEDIAP. We also conduct an ablation study to validate our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google