TempSAL — Uncovering Temporal Information for Deep Saliency Prediction

要約

ディープサリエンシー予測アルゴリズムは、物体認識機能を補完するものであり、それらは一般的に、シーンコンテキスト、意味関係、視線方向、物体非類似度などの追加情報に依存する。しかし、これらのモデルのうち、画像観察中の視線移動の時間的性質を考慮したものはない。我々は、人間の時間的な注意パターンを利用し、連続した時間間隔で顕著性マップを出力するように学習する新しい顕著性予測モデルを導入する。本手法は、学習された時間マップを組み合わせることで、顕著性予測値を局所的に変化させる。実験では、SALICONベンチマークにおいて、本手法が、複数時間継続する顕著性モデルを含む最新のモデルを凌駕することを示しました。我々のコードはGitHubで一般に公開される予定です。

要約(オリジナル)

Deep saliency prediction algorithms complement the object recognition features, they typically rely on additional information, such as scene context, semantic relationships, gaze direction, and object dissimilarity. However, none of these models consider the temporal nature of gaze shifts during image observation. We introduce a novel saliency prediction model that learns to output saliency maps in sequential time intervals by exploiting human temporal attention patterns. Our approach locally modulates the saliency predictions by combining the learned temporal maps. Our experiments show that our method outperforms the state-of-the-art models, including a multi-duration saliency model, on the SALICON benchmark. Our code will be publicly available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL