Look Twice: A Generalist Computational Model Predicts Return Fixations across Tasks and Species

要約

霊長類は、画像のさまざまな部分を高解像度にする衝動的な眼球運動によって、常に周囲を探索しています。
霊長類は、視野内の新しい領域を探索するだけでなく、頻繁に戻って凝視し、以前に中心窩であった場所を再訪します。
217,440回の注視のうち、合計44,328回の復帰注視を体系的に調査しました。
復帰凝視は、被験者が静的な画像を見たときと被験者が自然な行動をとったときの両方で、サルと人間のさまざまな行動タスク全体で遍在していました.
復帰凝視の位置は被験者間で一貫しており、短い一時的なオフセット内で発生する傾向があり、通常は衝動的な方向に 180 度回転します。
リターン凝視の起源を理解するために、原理の証明、生物学に着想を得た、画像計算可能なニューラル ネットワーク モデルを提案します。
モデルは、5 つの主要なモジュールを組み合わせたものです: 画像特徴抽出器、ボトムアップの顕著性手がかり、タスク関連の視覚的特徴、有限のリターン抑制、サッケード サイズの制約。
特定のタスク、種、または条件ごとに微調整された自由なパラメーターはありませんが、モデルは、戻り凝視の普遍的な特性に似た凝視シーケンスを生成します。
これらの結果は、迅速な中心窩認識と以前の凝視位置を精査する必要性との間のトレードオフの機構的理解に向けた最初のステップを提供します。

要約(オリジナル)

Primates constantly explore their surroundings via saccadic eye movements that bring different parts of an image into high resolution. In addition to exploring new regions in the visual field, primates also make frequent return fixations, revisiting previously foveated locations. We systematically studied a total of 44,328 return fixations out of 217,440 fixations. Return fixations were ubiquitous across different behavioral tasks, in monkeys and humans, both when subjects viewed static images and when subjects performed natural behaviors. Return fixations locations were consistent across subjects, tended to occur within short temporal offsets, and typically followed a 180-degree turn in saccadic direction. To understand the origin of return fixations, we propose a proof-of-principle, biologically-inspired and image-computable neural network model. The model combines five key modules: an image feature extractor, bottom-up saliency cues, task-relevant visual features, finite inhibition-of-return, and saccade size constraints. Even though there are no free parameters that are fine-tuned for each specific task, species, or condition, the model produces fixation sequences resembling the universal properties of return fixations. These results provide initial steps towards a mechanistic understanding of the trade-off between rapid foveal recognition and the need to scrutinize previous fixation locations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google