EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing

要約

アイトラッキング技術は、人間とコンピュータのインタラクション、仮想現実と拡張現実、ウェアラブルの健康における幅広い応用により、近年大きな注目を集めています。
従来の RGB カメラベースの視線追跡システムは、多くの場合、低い時間解像度と計算上の制約に悩まされ、素早い目の動きを捕捉する有効性が制限されていました。
これらの制限に対処するために、我々は、重大な運動学的分散を示す自然な瞳孔運動の高忠実度追跡のためのニューロモーフィックイベントカメラを使用する新しいアプローチである EyeTrAES を提案します。
EyeTrAES のハイライトの 1 つは、幅広い眼球運動パターンにわたって、イベント フレーム内で適切な量の記述的な非同期イベント データの蓄積を保証する、新しい適応ウィンドウ処理/スライス アルゴリズムの使用です。
次に、EyeTrAES は、単一の目からの蓄積されたイベント フレームに軽量の画像処理機能を適用して、瞳孔のセグメンテーションと追跡を実行します。
我々は、これらの方法が瞳孔追跡の忠実度を 6% 以上向上させ、IoU~=92% を達成しながら、競合する純粋なイベントベースの視線追跡代替法よりも少なくとも 3 倍低い遅延を引き起こすことを示します [38]。
さらに、EyeTrAESによって捕捉された微視的な瞳孔運動は個人ごとに独特の変化を示し、したがって生体指紋として機能する可能性があることを実証します。
堅牢なユーザー認証のために、瞳孔 (位置、速度、加速度) トリプルのスライディング ウィンドウで構成される短期瞳孔運動学の新しい特徴ベクトルを使用して、ユーザーごとの軽量のランダム フォレスト分類器をトレーニングします。
2 つの異なるデータセットを使用した実験研究では、EyeTrAES ベースの認証技術が高い認証精度 (~=0.82) と低い処理遅延 (~=12ms) を同時に達成でき、複数の最先端の競合ベースラインを大幅に上回るパフォーマンスを示します。

要約(オリジナル)

Eye-tracking technology has gained significant attention in recent years due to its wide range of applications in human-computer interaction, virtual and augmented reality, and wearable health. Traditional RGB camera-based eye-tracking systems often struggle with poor temporal resolution and computational constraints, limiting their effectiveness in capturing rapid eye movements. To address these limitations, we propose EyeTrAES, a novel approach using neuromorphic event cameras for high-fidelity tracking of natural pupillary movement that shows significant kinematic variance. One of EyeTrAES’s highlights is the use of a novel adaptive windowing/slicing algorithm that ensures just the right amount of descriptive asynchronous event data accumulation within an event frame, across a wide range of eye movement patterns. EyeTrAES then applies lightweight image processing functions over accumulated event frames from just a single eye to perform pupil segmentation and tracking. We show that these methods boost pupil tracking fidelity by 6+%, achieving IoU~=92%, while incurring at least 3x lower latency than competing pure event-based eye tracking alternatives [38]. We additionally demonstrate that the microscopic pupillary motion captured by EyeTrAES exhibits distinctive variations across individuals and can thus serve as a biometric fingerprint. For robust user authentication, we train a lightweight per-user Random Forest classifier using a novel feature vector of short-term pupillary kinematics, comprising a sliding window of pupil (location, velocity, acceleration) triples. Experimental studies with two different datasets demonstrate that the EyeTrAES-based authentication technique can simultaneously achieve high authentication accuracy (~=0.82) and low processing latency (~=12ms), and significantly outperform multiple state-of-the-art competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google