A Framework for Pupil Tracking with Event Cameras

要約

サッカードは、同時に起こる両目の非常に速い動きであり、通常、人が焦点をある物体から別の物体に移すときに観察されます。
これらの動きは人間が生み出す最も速い動きの一つであり、まばたきよりも速い速度に達する可能性があります。
サッカード中の眼球のピーク角速度は、人間の場合、特に視角 25{\deg} をカバーする大きなサッカード中に、700{\deg}/s に達することがあります。
これまでの研究では、サッケードの研究を通じて神経学的状態を理解する上で有望な成果が示されています。
サッカード検出に必要なステップには、目の中の瞳孔の正確な位置を正確に特定することが含まれ、そこから視線角度などの追加情報を推測できます。
従来のフレームベースのカメラは、非常に速い動きを追跡するために必要な高い時間精度に苦戦することが多く、その結果、モーション ブラーや遅延の問題が発生します。
一方、イベント カメラは、ビジュアル シーンの変化を非同期で記録し、高い時間解像度と低い遅延を提供することで、有望な代替手段を提供します。
従来のコンピューター ビジョンとイベントベースのビジョンの間のギャップを埋めることにより、標準の深層学習アルゴリズムで容易に利用できるフレームとしてイベントを提示します。
このアプローチでは、最先端の物体検出テクノロジーである YOLOv8 を活用し、公的にアクセス可能な Ev-Eye データセットを使用して瞳孔追跡用にこれらのフレームを処理します。
実験結果はこのフレームワークの有効性を実証し、神経科学、眼科学、および人間とコンピューターの相互作用におけるその潜在的な応用を強調しています。

要約(オリジナル)

Saccades are extremely rapid movements of both eyes that occur simultaneously, typically observed when an individual shifts their focus from one object to another. These movements are among the swiftest produced by humans and possess the potential to achieve velocities greater than that of blinks. The peak angular speed of the eye during a saccade can reach as high as 700{\deg}/s in humans, especially during larger saccades that cover a visual angle of 25{\deg}. Previous research has demonstrated encouraging outcomes in comprehending neurological conditions through the study of saccades. A necessary step in saccade detection involves accurately identifying the precise location of the pupil within the eye, from which additional information such as gaze angles can be inferred. Conventional frame-based cameras often struggle with the high temporal precision necessary for tracking very fast movements, resulting in motion blur and latency issues. Event cameras, on the other hand, offer a promising alternative by recording changes in the visual scene asynchronously and providing high temporal resolution and low latency. By bridging the gap between traditional computer vision and event-based vision, we present events as frames that can be readily utilized by standard deep learning algorithms. This approach harnesses YOLOv8, a state-of-the-art object detection technology, to process these frames for pupil tracking using the publicly accessible Ev-Eye dataset. Experimental results demonstrate the framework’s effectiveness, highlighting its potential applications in neuroscience, ophthalmology, and human-computer interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google