Beyond Average: Individualized Visual Scanpath Prediction

要約

注意力が個人によってどのように異なるかを理解することは、科学的および社会的に大きな影響を与えます。
しかし、既存の視覚スキャンパス モデルは注意を一律に扱い、個人差を無視しています。
このギャップを埋めるために、この論文では、さまざまな視覚タスクにおいてさまざまな個人がどのように注意を移すかを正確に予測することを目的とした新しい注意モデリング タスクである個別スキャンパス予測 (ISP) に焦点を当てます。
これは、3 つの新しい技術コンポーネントを特徴とする ISP 手法を提案しています: (1) 観察者固有の注意特性を特徴付け、統合するための観察者エンコーダ、(2) 視覚的特徴、タスク ガイダンス、および観察者固有の機能を総合的に組み合わせる観察者中心の特徴統合アプローチ
(3) 個々の観察者の注意特性に基づいて意味論的特徴マップに動的に優先順位を付けることにより、スキャンパス予測を改良する適応注視優先順位付けメカニズム。
これらの新しいコンポーネントにより、スキャンパス モデルはさまざまな観察者間の注意のばらつきに効果的に対処できるようになります。
私たちの方法は一般に、さまざまなデータセット、モデル アーキテクチャ、視覚的タスクに適用でき、一般的なスキャンパス モデルを個別のスキャンパス モデルに変換するための包括的なツールを提供します。
値ベースおよびランキングベースの指標を使用した包括的な評価により、メソッドの有効性と一般化可能性が検証されます。

要約(オリジナル)

Understanding how attention varies across individuals has significant scientific and societal impacts. However, existing visual scanpath models treat attention uniformly, neglecting individual differences. To bridge this gap, this paper focuses on individualized scanpath prediction (ISP), a new attention modeling task that aims to accurately predict how different individuals shift their attention in diverse visual tasks. It proposes an ISP method featuring three novel technical components: (1) an observer encoder to characterize and integrate an observer’s unique attention traits, (2) an observer-centric feature integration approach that holistically combines visual features, task guidance, and observer-specific characteristics, and (3) an adaptive fixation prioritization mechanism that refines scanpath predictions by dynamically prioritizing semantic feature maps based on individual observers’ attention traits. These novel components allow scanpath models to effectively address the attention variations across different observers. Our method is generally applicable to different datasets, model architectures, and visual tasks, offering a comprehensive tool for transforming general scanpath models into individualized ones. Comprehensive evaluations using value-based and ranking-based metrics verify the method’s effectiveness and generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google