Accurate Gaze Estimation using an Active-gaze Morphable Model

要約

画像から直接視線方向を回帰するのではなく、3D 形状モデルを追加すると、i) 視線推定の精度が向上し、ii) 低解像度の入力でうまく機能し、iii) 目の領域とその構成要素の視線をより深く理解できることを示します。
システム。
具体的には、「目と鼻」の 3D モーフィング モデル (3DMM) を使用して、目領域の 3D 顔のジオメトリと外観をキャプチャし、これに視線の幾何学的輻輳モデルを装備して「アクティブ ゲイズ 3DMM」を提供します。
私たちのアプローチが Eyediap データセットで最先端の結果を達成することを示し、アブレーション研究を提示します。
私たちの方法は、グラウンド トゥルースの視線の原点にアクセスすることなく、グラウンド トゥルースの視線のターゲット ポイントとカメラ パラメーターのみで学習できるため、他の方法と比較してアプローチの適用範囲が広がります。

要約(オリジナル)

Rather than regressing gaze direction directly from images, we show that adding a 3D shape model can: i) improve gaze estimation accuracy, ii) perform well with lower resolution inputs and iii) provide a richer understanding of the eye-region and its constituent gaze system. Specifically, we use an `eyes and nose’ 3D morphable model (3DMM) to capture the eye-region 3D facial geometry and appearance and we equip this with a geometric vergence model of gaze to give an `active-gaze 3DMM’. We show that our approach achieves state-of-the-art results on the Eyediap dataset and we present an ablation study. Our method can learn with only the ground truth gaze target point and the camera parameters, without access to the ground truth gaze origin points, thus widening the applicability of our approach compared to other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google