Gaze Estimation Approach Using Deep Differential Residual Network

要約

人の顔全体が与えられたときに、その人がどこを見ているのかを判断する視線推定は、人の意図を理解するための貴重な手がかりとなる手法です。コンピュータビジョンの他の領域と同様に、視線推定領域においても深層学習（DL）手法が認知されてきています。しかし、視線推定領域には視線キャリブレーションの問題が残っているため、既存の手法のさらなる性能向上を阻んでいます。有効な解決策は、差分ネットワーク（Diff-Nn）のような人間の2つの目の差分情報を直接予測することです。しかし，この解決策では，1枚の推論画像のみを用いた場合，精度が低下してしまう．そこで，2つの眼球画像の差分情報を利用するために，新しい損失関数と組み合わせた差分残差モデル(DRNet)を提案する．差分情報は補助的な情報として扱う．提案モデル(DRNet)は主に2つの公開データセット(1) MpiiGazeと(2) Eyediapを用いて評価する．目の特徴のみを考慮した場合、DRNetはMpiiGazeとEyediapデータセットを用いて、それぞれ$angular-error$が4.57と6.14と、最先端の視線推定法を上回る性能を発揮することがわかった。さらに、実験結果は、DRNetがノイズ画像に対して極めて頑健であることも示しています。

要約(オリジナル)

Gaze estimation, which is a method to determine where a person is looking at given the person’s full face, is a valuable clue for understanding human intention. Similarly to other domains of computer vision, deep learning (DL) methods have gained recognition in the gaze estimation domain. However, there are still gaze calibration problems in the gaze estimation domain, thus preventing existing methods from further improving the performances. An effective solution is to directly predict the difference information of two human eyes, such as the differential network (Diff-Nn). However, this solution results in a loss of accuracy when using only one inference image. We propose a differential residual model (DRNet) combined with a new loss function to make use of the difference information of two eye images. We treat the difference information as auxiliary information. We assess the proposed model (DRNet) mainly using two public datasets (1) MpiiGaze and (2) Eyediap. Considering only the eye features, DRNet outperforms the state-of-the-art gaze estimation methods with $angular-error$ of 4.57 and 6.14 using MpiiGaze and Eyediap datasets, respectively. Furthermore, the experimental results also demonstrate that DRNet is extremely robust to noise images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL