AiATrack: Attention in Attention for Transformer Visual Tracking

要約

Transformerトラッカーは最近目覚ましい進歩を遂げており、注意メカニズムが重要な役割を果たしています。
ただし、アテンションメカニズムでの独立した相関計算により、ノイズが多くあいまいなアテンションウェイトが発生する可能性があり、パフォーマンスのさらなる向上が妨げられます。
この問題に対処するために、すべての相関ベクトル間のコンセンサスを求めることにより、適切な相関を強化し、誤った相関を抑制する注意注意（AiA）モジュールを提案します。
当社のAiAモジュールは、自己注意ブロックと相互注意ブロックの両方に簡単に適用でき、視覚的な追跡のための機能の集約と情報の伝播を容易にします。
さらに、効率的な機能の再利用とターゲット背景の埋め込みを導入して時間参照を最大限に活用することにより、AiATrackと呼ばれる合理化されたTransformer追跡フレームワークを提案します。
実験によると、トラッカーは、リアルタイムの速度で実行しながら、6つの追跡ベンチマークで最先端のパフォーマンスを実現しています。

要約(オリジナル)

Transformer trackers have achieved impressive advancements recently, where the attention mechanism plays an important role. However, the independent correlation computation in the attention mechanism could result in noisy and ambiguous attention weights, which inhibits further performance improvement. To address this issue, we propose an attention in attention (AiA) module, which enhances appropriate correlations and suppresses erroneous ones by seeking consensus among all correlation vectors. Our AiA module can be readily applied to both self-attention blocks and cross-attention blocks to facilitate feature aggregation and information propagation for visual tracking. Moreover, we propose a streamlined Transformer tracking framework, dubbed AiATrack, by introducing efficient feature reuse and target-background embeddings to make full use of temporal references. Experiments show that our tracker achieves state-of-the-art performance on six tracking benchmarks while running at a real-time speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google