Contrastive Weighted Learning for Near-Infrared Gaze Estimation

要約

外観ベースの視線推定は、深層学習を使用して非常に成功しています。
次の多くの作業により、視線推定のドメイン一般化が改善されました。
ただし、視線推定のためのドメインの一般化には多くの進歩がありましたが、最近の研究のほとんどはクロスデータセットのパフォーマンスに焦点を当てており、照明、頭の姿勢、および照明のさまざまな分布を説明しています。
RGB 画像のさまざまな分布で視線推定を改善することは重要ですが、近赤外線画像ベースの視線推定も暗い環境での視線推定に重要です。
また、回帰タスクの教師あり学習のみに依存する固有の制限もあります。
この論文は、これらの問題の解決に貢献し、対照学習を使用した近赤外画像による視線推定のための新しいフレームワークである GazeCWL を提案します。
これは、データ増強のための敵対的攻撃手法と、潜在空間内のさまざまなサンプルの特徴を効果的にクラスター化する回帰タスク専用の新しい対照的損失関数を活用します。
私たちのモデルは、赤外線画像ベースの視線推定で以前のドメイン一般化モデルよりも優れており、ベースラインよりも 45.6\% 優れており、最先端技術を 8.6\% 改善しており、この方法の有効性を実証しています。

要約(オリジナル)

Appearance-based gaze estimation has been very successful with the use of deep learning. Many following works improved domain generalization for gaze estimation. However, even though there has been much progress in domain generalization for gaze estimation, most of the recent work have been focused on cross-dataset performance — accounting for different distributions in illuminations, head pose, and lighting. Although improving gaze estimation in different distributions of RGB images is important, near-infrared image based gaze estimation is also critical for gaze estimation in dark settings. Also there are inherent limitations relying solely on supervised learning for regression tasks. This paper contributes to solving these problems and proposes GazeCWL, a novel framework for gaze estimation with near-infrared images using contrastive learning. This leverages adversarial attack techniques for data augmentation and a novel contrastive loss function specifically for regression tasks that effectively clusters the features of different samples in the latent space. Our model outperforms previous domain generalization models in infrared image based gaze estimation and outperforms the baseline by 45.6\% while improving the state-of-the-art by 8.6\%, we demonstrate the efficacy of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google