GASP: Gated Attention For Saliency Prediction

要約

顕著性予測とは、表出された注意をモデル化する計算タスクのことです。社会的な手がかりは私たちの注意に大きな影響を与え、その結果、私たちの眼球運動や行動を変化させる。我々は、社会的手がかりを統合し、その影響を重み付けする神経モデルを提案する。本モデルは2つのステージから構成される。第一段階では、視線追跡、視線方向推定、感情認識により、2つの社会的手がかりを検出する。これらの特徴は、画像処理操作により時空間マップに変換される。変換された表現は第2段階（GASP）に伝搬され、そこで我々は社会的手がかりを統合するための様々な後期融合技術を探索し、関連する刺激に注意を向けるための2つのサブネットワークを導入する。我々の実験では、静的統合手法では融合アプローチがより良い結果をもたらすが、各モダリティの影響が未知である非融合アプローチでは、動的顕著性予測用のリカレントモデルと結合した場合により良い結果をもたらすことが示された。我々は、視線方向と感情表現が、社会的手がかりを持たない動的顕著性モデルと比較して、少なくとも5%の予測対地真正対応性の向上に寄与することを示す。さらに、感情表現はGASPを向上させ、顕著性予測において感情に基づく注意を考慮する必要性を支持する。

要約(オリジナル)

Saliency prediction refers to the computational task of modeling overt attention. Social cues greatly influence our attention, consequently altering our eye movements and behavior. To emphasize the efficacy of such features, we present a neural model for integrating social cues and weighting their influences. Our model consists of two stages. During the first stage, we detect two social cues by following gaze, estimating gaze direction, and recognizing affect. These features are then transformed into spatiotemporal maps through image processing operations. The transformed representations are propagated to the second stage (GASP) where we explore various techniques of late fusion for integrating social cues and introduce two sub-networks for directing attention to relevant stimuli. Our experiments indicate that fusion approaches achieve better results for static integration methods, whereas non-fusion approaches for which the influence of each modality is unknown, result in better outcomes when coupled with recurrent models for dynamic saliency prediction. We show that gaze direction and affective representations contribute a prediction to ground-truth correspondence improvement of at least 5% compared to dynamic saliency models without social cues. Furthermore, affective representations improve GASP, supporting the necessity of considering affect-biased attention in predicting saliency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL