Precise localization of corneal reflections in eye images using deep learning trained on synthetic data

要約

目の画像内の単一の角膜反射 (CR) の中心を正確に位置特定するための深層学習方法を紹介します。
以前のアプローチとは異なり、シミュレートされたデータのみを使用してトレーニングされた畳み込みニューラル ネットワーク (CNN) を使用します。
シミュレートされたデータのみを使用すると、実際の目の画像に対する教師ありトレーニングに必要な、時間のかかる手動アノテーションのプロセスを完全に回避できるという利点があります。
私たちの方法の精度を体系的に評価するために、最初に、さまざまな背景に配置され、さまざまなレベルのノイズに埋め込まれたシミュレートされた CR を含む画像でテストしました。
次に、実際の目からキャプチャされた高品質ビデオでこの方法をテストしました。
私たちの手法は、実際の目の画像では空間精度の点で 35% 削減しながら最先端のアルゴリズム手法を上回り、シミュレーション画像では空間精度の点で最先端の手法と同等の性能を発揮しました。
私たちの方法は CR 中心の位置特定のための正確な方法を提供し、視線推定のための深層学習モデルの開発における重要な共通の障害の 1 つであるデータの可用性の問題に対する解決策を提供します。
優れた CR 中心位置特定と適用の容易さにより、私たちの方法は CR ベースのアイ トラッカーの精度と精度を向上させる可能性があります。

要約(オリジナル)

We present a deep learning method for accurately localizing the center of a single corneal reflection (CR) in an eye image. Unlike previous approaches, we use a convolutional neural network (CNN) that was trained solely using simulated data. Using only simulated data has the benefit of completely sidestepping the time-consuming process of manual annotation that is required for supervised training on real eye images. To systematically evaluate the accuracy of our method, we first tested it on images with simulated CRs placed on different backgrounds and embedded in varying levels of noise. Second, we tested the method on high-quality videos captured from real eyes. Our method outperformed state-of-the-art algorithmic methods on real eye images with a 35% reduction in terms of spatial precision, and performed on par with state-of-the-art on simulated images in terms of spatial accuracy.We conclude that our method provides a precise method for CR center localization and provides a solution to the data availability problem which is one of the important common roadblocks in the development of deep learning models for gaze estimation. Due to the superior CR center localization and ease of application, our method has the potential to improve the accuracy and precision of CR-based eye trackers

arxiv情報

提供元, 利用サービス

arxiv.jp, Google