A Survey on Deep Learning-based Gaze Direction Regression: Searching for the State-of-the-art

要約

この論文では、頭と目の画像から視線方向ベクトルを回帰するための深層学習ベースの方法の調査を紹介します。
入力データ、モデルのアーキテクチャ、モデルの監視に使用される損失関数に焦点を当てて、多数の公開された手法を詳細に説明します。
さらに、視線方向回帰法のトレーニングと評価に使用できるデータセットのリストを示します。
さらに、文献で報告されている結果は、使用される検証やテストサブセットの違いにより、しばしば相互に比較できないことに気づきました。
この問題に対処するために、同じ検証設定を使用して、一般的に使用されている実際の G​​aze360 データセットに対するいくつかの方法を再評価しました。
実験結果は、最新の方法が最先端の結果を主張しているにもかかわらず、一部の古い方法と比較してパフォーマンスが大幅に劣っていることを示しています。
最後に、静的テスト条件下では時間モデルが静的モデルよりも優れたパフォーマンスを示すことを示します。

要約(オリジナル)

In this paper, we present a survey of deep learning-based methods for the regression of gaze direction vector from head and eye images. We describe in detail numerous published methods with a focus on the input data, architecture of the model, and loss function used to supervise the model. Additionally, we present a list of datasets that can be used to train and evaluate gaze direction regression methods. Furthermore, we noticed that the results reported in the literature are often not comparable one to another due to differences in the validation or even test subsets used. To address this problem, we re-evaluated several methods on the commonly used in-the-wild Gaze360 dataset using the same validation setup. The experimental results show that the latest methods, although claiming state-of-the-art results, significantly underperform compared with some older methods. Finally, we show that the temporal models outperform the static models under static test conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google