MRGazer: Decoding Eye Gaze Points from Functional Magnetic Resonance Imaging in Individual Space

要約

視線追跡研究は、数多くの認知機能を理解する上で有益であることが証明されています。
最近、Frey ら。
fMRI データから眼球の動きを学習するエキサイティングな深層学習方法を提供しました。
ただし、眼球マスクを取得するには fMRI を標準空間に同時登録する必要があるため、追加のテンプレートが必要で時間がかかりました。
この問題を解決するために、本論文では、個別空間の fMRI から視線を予測するための MRGazer というフレームワークを提案します。
MRGazer は、眼球抽出モジュールと残留ネットワークベースの視線予測で構成されています。
以前の方法と比較して、提案されたフレームワークは fMRI の相互登録ステップをスキップし、処理プロトコルを簡素化し、エンドツーエンドの視線回帰を実現します。
提案された方法は、さまざまな眼球運動タスクにおいて共同位置合わせベースの方法よりも優れたパフォーマンスを達成し、従来の方法（各ボリュームで約 0.3 秒）よりも短い時間（各ボリュームで約 0.02 秒）で客観的な結果を提供しました。

要約(オリジナル)

Eye-tracking research has proven valuable in understanding numerous cognitive functions. Recently, Frey et al. provided an exciting deep learning method for learning eye movements from fMRI data. However, it needed to co-register fMRI into standard space to obtain eyeballs masks, and thus required additional templates and was time consuming. To resolve this issue, in this paper, we propose a framework named MRGazer for predicting eye gaze points from fMRI in individual space. The MRGazer consisted of eyeballs extraction module and a residual network-based eye gaze prediction. Compared to the previous method, the proposed framework skips the fMRI co-registration step, simplifies the processing protocol and achieves end-to-end eye gaze regression. The proposed method achieved superior performance in a variety of eye movement tasks than the co-registration-based method, and delivered objective results within a shorter time (~ 0.02 Seconds for each volume) than prior method (~0.3 Seconds for each volume).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google