PCFGaze: Physics-Consistent Feature for Appearance-based Gaze Estimation

要約

最近の深層学習ベースの視線推定アプローチは大幅な改善を達成しましたが、視線の特徴が視線の物理学にどのように関連しているかについてはまだほとんどわかっていません。
この論文では、視線特徴多様体を分析することによってこの質問に答えようとします。
私たちの分析により、視線フィーチャ間の測地距離がサンプル間の視線の違いと一致しているという洞察が明らかになりました。
この発見に従って、分析的な方法で物理的一貫性のある特徴 (PCF) を構築し、視線特徴を視線の物理的定義に結び付けます。
さらに、PCF のガイダンスによって視線特徴空間を直接最適化する PCFGaze フレームワークを提案します。
実験結果は、提案されたフレームワークが過剰学習問題を軽減し、追加のトレーニング データなしでクロスドメイン視線推定精度を大幅に向上させることを示しています。
視線機能の洞察は、物理的な意味を持つ他の回帰タスクに利益をもたらす可能性があります。

要約(オリジナル)

Although recent deep learning based gaze estimation approaches have achieved much improvement, we still know little about how gaze features are connected to the physics of gaze. In this paper, we try to answer this question by analyzing the gaze feature manifold. Our analysis revealed the insight that the geodesic distance between gaze features is consistent with the gaze differences between samples. According to this finding, we construct the Physics- Consistent Feature (PCF) in an analytical way, which connects gaze feature to the physical definition of gaze. We further propose the PCFGaze framework that directly optimizes gaze feature space by the guidance of PCF. Experimental results demonstrate that the proposed framework alleviates the overfitting problem and significantly improves cross-domain gaze estimation accuracy without extra training data. The insight of gaze feature has the potential to benefit other regression tasks with physical meanings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google