LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking using Synthetic Eye Images

要約

深層学習は視線推定技術を強化しましたが、トレーニング データセットが不十分であるため、現実世界への展開が妨げられています。
この問題は、ハードウェアに起因する目の画像の変動と、記録された参加者間の固有の生物学的差異の両方によって悪化し、特徴レベルとピクセルレベルの両方の差異が生じ、特定のデータセットでトレーニングされたモデルの一般化を妨げます。
合成データセットは解決策にはなりますが、その作成には時間とリソースが大量にかかります。
この問題に対処するために、我々は Light Eyes または「LEyes」と呼ばれるフレームワークを提案します。このフレームワークは、従来のフォトリアリスティックな手法とは異なり、単純な光分布を使用したビデオベースのアイトラッキングに必要な主要な画像特徴のみをモデル化します。
LEyes は、さまざまな視線推定タスクにわたってニューラル ネットワークをトレーニングするための簡単な構成を容易にします。
私たちは、LEyes を使用してトレーニングされたモデルが、よく知られたデータセットにわたる瞳孔と CR の位置特定の点で他の最先端のアルゴリズムよりも優れていることを実証します。
さらに、LEyes のトレーニング済みモデルは、コスト効率が大幅に高いハードウェアを使用する業界標準のアイ トラッカーよりも優れたパフォーマンスを発揮します。
今後、LEyes が視線推定モデルの合成データ生成に革命をもたらし、次世代のビデオベースのアイ トラッカーの大幅な改善につながると確信しています。

要約(オリジナル)

Deep learning has bolstered gaze estimation techniques, but real-world deployment has been impeded by inadequate training datasets. This problem is exacerbated by both hardware-induced variations in eye images and inherent biological differences across the recorded participants, leading to both feature and pixel-level variance that hinders the generalizability of models trained on specific datasets. While synthetic datasets can be a solution, their creation is both time and resource-intensive. To address this problem, we present a framework called Light Eyes or ‘LEyes’ which, unlike conventional photorealistic methods, only models key image features required for video-based eye tracking using simple light distributions. LEyes facilitates easy configuration for training neural networks across diverse gaze-estimation tasks. We demonstrate that models trained using LEyes outperform other state-of-the-art algorithms in terms of pupil and CR localization across well-known datasets. In addition, a LEyes trained model outperforms the industry standard eye tracker using significantly more cost-effective hardware. Going forward, we are confident that LEyes will revolutionize synthetic data generation for gaze estimation models, and lead to significant improvements of the next generation video-based eye trackers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google