NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation

要約

視線推定は、多くの視覚タスクの基本的な基礎です。
しかし、3D 注釈を使用して視線データセットを取得するコストが高いため、視線推定モデルの最適化と適用が妨げられています。
この作業では、ビューの一貫性と正確な視線方向を備えた高密度の視線データの生成を可能にする、ニューラル ラディアンス フィールドに基づいた新しいヘッド-アイ リダイレクション パラメトリック モデルを提案します。
さらに、頭と目のリダイレクション パラメトリック モデルは、顔と目を別々のニューラル レンダリング用に切り離すことができるため、顔、アイデンティティ、照明、および視線方向の属性を別々に制御するという目的を達成できます。
したがって、さまざまな顔属性に属する潜在コードを教師なしで操作することにより、多様な 3D 認識視線データセットを取得できます。
いくつかのベンチマークでの広範な実験により、視線推定タスクのドメイン一般化とドメイン適応における私たちの方法の有効性が実証されました。

要約(オリジナル)

Gaze estimation is the fundamental basis for many visual tasks. Yet, the high cost of acquiring gaze datasets with 3D annotations hinders the optimization and application of gaze estimation models. In this work, we propose a novel Head-Eye redirection parametric model based on Neural Radiance Field, which allows dense gaze data generation with view consistency and accurate gaze direction. Moreover, our head-eye redirection parametric model can decouple the face and eyes for separate neural rendering, so it can achieve the purpose of separately controlling the attributes of the face, identity, illumination, and eye gaze direction. Thus diverse 3D-aware gaze datasets could be obtained by manipulating the latent code belonging to different face attributions in an unsupervised manner. Extensive experiments on several benchmarks demonstrate the effectiveness of our method in domain generalization and domain adaptation for gaze estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google