Event Based, Near Eye Gaze Tracking Beyond 10,000Hz

要約

最近の視線追跡システムのカメラは、基本的な帯域幅と電力の制限に悩まされており、現実的にはデータ取得速度が300Hzに制限されています。このため、例えば低遅延の予測レンダリングや、ヘッドマウントデバイスを用いたマイクロサッカードのような迅速かつ微妙な目の動きを研究するためのモバイル・アイトラッカーの利用が妨げられる。ここでは、同じ条件で評価した場合、デスクトップ型の商用トラッカーと同等の精度で、10,000 Hzを超える更新レートを実現する、フレームとイベントのハイブリッド型近眼視線追跡システムを提案します。本システムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新しいイベントカメラに基づいています。我々は、1つまたは数個のイベントごとにパラメトリックモデルを更新するオンライン2D瞳孔フィッティング法を開発する。さらに、リアルタイムでパラメトリック瞳孔モデルから注視点を推定するための多項式リグレッサを提案する。イベントベースの視線データセット（https://github.com/aangelopoulos/event_based_gaze_tracking）を用いて、本システムが視野角45度から98度まで0.45度から1.75度の精度を達成することを実証しました。この技術により、新世代の超低遅延視線制御レンダリングを実現し、仮想現実や拡張現実のためのディープLを表示することが期待されます。

要約(オリジナル)

The cameras in modern gaze-tracking systems suffer from fundamental bandwidth and power limitations, constraining data acquisition speed to 300 Hz realistically. This obstructs the use of mobile eye trackers to perform, e.g., low latency predictive rendering, or to study quick and subtle eye motions like microsaccades using head-mounted devices in the wild. Here, we propose a hybrid frame-event-based near-eye gaze tracking system offering update rates beyond 10,000 Hz with an accuracy that matches that of high-end desktop-mounted commercial trackers when evaluated in the same conditions. Our system builds on emerging event cameras that simultaneously acquire regularly sampled frames and adaptively sampled events. We develop an online 2D pupil fitting method that updates a parametric model every one or few events. Moreover, we propose a polynomial regressor for estimating the point of gaze from the parametric pupil model in real time. Using the first event-based gaze dataset, available at https://github.com/aangelopoulos/event_based_gaze_tracking , we demonstrate that our system achieves accuracies of 0.45 degrees–1.75 degrees for fields of view from 45 degrees to 98 degrees. With this technology, we hope to enable a new generation of ultra-low-latency gaze-contingent rendering and display techniques for virtual and augmented reality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL