Precise localization of corneal reflections in eye images using deep learning trained on synthetic data

要約

タイトル：合成データで訓練された深層学習による眼画像中の角膜反射の精確な位置特定

要約：
– 一つの眼画像中にある単一の角膜反射（CR）の中心を正確に特定するための深層学習手法を提案する。
– 従来の方法とは異なり、シミュレーションされたデータだけを用いて訓練された畳み込みニューラルネットワーク（CNN）を使用。
– シミュレーションされたデータのみを使用することにより、人間による手作業アノテーションが必要な実際の眼画像に対する教師あり学習の時間を節約できる。
– 精度をシステム的に評価するために、まず異なる背景に置かれたシミュレーションされたCRを含む画像や、さまざまなレベルのノイズが埋め込まれた画像に対してテスト。
– その後、実際の眼からキャプチャされた高品質のビデオに対してもテストした。
– 精度に関して、状態-of-the-artアルゴリズムに比べて、実際の眼画像では空間的な精度が35％向上し、シミュレーションされた画像に対しては、空間的な精度で状態-of-the-artと同等の性能を発揮した。
– 我々の手法は、CR中心位置の正確な特定を提供し、深層学習モデルの視線推定の開発における重要な共通の障壁の一つであるデータの入手性問題に対する解決策を提供する。
– 優れたCR中心位置の特定と適用の簡易性により、我々の手法は、CRベースのアイトラッカーの正確性と精度を改善する可能性がある。

要約(オリジナル)

We present a deep learning method for accurately localizing the center of a single corneal reflection (CR) in an eye image. Unlike previous approaches, we use a convolutional neural network (CNN) that was trained solely using simulated data. Using only simulated data has the benefit of completely sidestepping the time-consuming process of manual annotation that is required for supervised training on real eye images. To systematically evaluate the accuracy of our method, we first tested it on images with simulated CRs placed on different backgrounds and embedded in varying levels of noise. Second, we tested the method on high-quality videos captured from real eyes. Our method outperformed state-of-the-art algorithmic methods on real eye images with a 35% reduction in terms of spatial precision, and performed on par with state-of-the-art on simulated images in terms of spatial accuracy.We conclude that our method provides a precise method for CR center localization and provides a solution to the data availability problem which is one of the important common roadblocks in the development of deep learning models for gaze estimation. Due to the superior CR center localization and ease of application, our method has the potential to improve the accuracy and precision of CR-based eye trackers

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI