SIGN: A Statistically-Informed Gaze Network for Gaze Time Prediction

要約

画像上の総視線時間を予測するために、統計的に情報に基づいた視線ネットワークの最初のバージョンを提案します。
CNNと視覚変圧器を含む深い学習実装を導き出す基礎統計モデルを開発し、全体的な視線時間の予測を可能にします。
このモデルにより、各領域の確率は、可能なあらゆるスキャンパスをじっと見つめている可能性を表す画像内のすべての領域における確率マップとして、基礎となる視線パターンを集計視線から導き出すことができます。
集計の視線時間を持つ広告の画像のデータセットであるADGAZE3500と、検索中に収集された個人レベルの固定パターンを持つデータセットであるCoCo-Search18でのサインのパフォーマンスをテストします。
（1）は、両方のデータセットの最先端の深い学習ベンチマークよりも標識の期間予測を大幅に改善し、（2）COCO-Search18の経験的凝視パターンに対応するもっともらしい視線パターンを提供できることを実証します。
これらの結果は、Signの最初のバージョンが視線時間の予測の約束を保持しており、さらなる開発に値することを示唆しています。

要約(オリジナル)

We propose a first version of SIGN, a Statistically-Informed Gaze Network, to predict aggregate gaze times on images. We develop a foundational statistical model for which we derive a deep learning implementation involving CNNs and Visual Transformers, which enables the prediction of overall gaze times. The model enables us to derive from the aggregate gaze times the underlying gaze pattern as a probability map over all regions in the image, where each region’s probability represents the likelihood of being gazed at across all possible scan-paths. We test SIGN’s performance on AdGaze3500, a dataset of images of ads with aggregate gaze times, and on COCO-Search18, a dataset with individual-level fixation patterns collected during search. We demonstrate that SIGN (1) improves gaze duration prediction significantly over state-of-the-art deep learning benchmarks on both datasets, and (2) can deliver plausible gaze patterns that correspond to empirical fixation patterns in COCO-Search18. These results suggest that the first version of SIGN holds promise for gaze-time predictions and deserves further development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google