Improving saliency models’ predictions of the next fixation with humans’ intrinsic cost of gaze shifts

要約

人間による画像領域の優先順位付けは、顕著性マップを使用して時不変にモデル化するか、スキャンパス モデルを使用して順次モデル化できます。
ただし、両方のタイプのモデルがいくつかのベンチマークとデータセットで着実に改善されていますが、人間の視線の予測にはまだかなりのギャップがあります.
ここでは、このギャップを減らすために最近の 2 つの開発を活用します。次の注視ターゲットを予測するための原則に基づいたフレームワークを確立する理論的分析と、画像コンテンツとは無関係に注視スイッチの人的コストを経験的に測定することです。
シーケンシャルな意思決定のフレームワークにアルゴリズムを導入します。これは、静的な顕著性マップを一連の動的な履歴に依存する値マップに変換し、視線が変わるたびに再計算されます。
これらのマップは、1) 任意の顕著性モデルによって提供される顕著性マップ、2) 眼球運動の大きさと方向の好みを定量化する最近測定された人間のコスト関数、および 3) 後続の視線の変化ごとに変化するシーケンシャルな探索ボーナスに基づいています。
.
この探索ボーナスの空間範囲と時間減衰のパラメーターは、人間の視線データから推定されます。
これら 3 つのコンポーネントの相対的な寄与は、NSS スコアの MIT1003 データセットで最適化されており、3 つの画像データ セットでの 5 つの最先端の顕著性モデルの NSS および AUC スコアでの次の注視ターゲットの予測を大幅に上回るのに十分です。
したがって、人間の視線の好みの実装を提供します。これは、人間の次の視線ターゲットの任意の顕著性モデルの予測を改善するために使用できます。

要約(オリジナル)

The human prioritization of image regions can be modeled in a time invariant fashion with saliency maps or sequentially with scanpath models. However, while both types of models have steadily improved on several benchmarks and datasets, there is still a considerable gap in predicting human gaze. Here, we leverage two recent developments to reduce this gap: theoretical analyses establishing a principled framework for predicting the next gaze target and the empirical measurement of the human cost for gaze switches independently of image content. We introduce an algorithm in the framework of sequential decision making, which converts any static saliency map into a sequence of dynamic history-dependent value maps, which are recomputed after each gaze shift. These maps are based on 1) a saliency map provided by an arbitrary saliency model, 2) the recently measured human cost function quantifying preferences in magnitude and direction of eye movements, and 3) a sequential exploration bonus, which changes with each subsequent gaze shift. The parameters of the spatial extent and temporal decay of this exploration bonus are estimated from human gaze data. The relative contributions of these three components were optimized on the MIT1003 dataset for the NSS score and are sufficient to significantly outperform predictions of the next gaze target on NSS and AUC scores for five state of the art saliency models on three image data sets. Thus, we provide an implementation of human gaze preferences, which can be used to improve arbitrary saliency models’ predictions of humans’ next gaze targets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google