RGB-T Tracking Based on Mixed Attention

要約

タイトル: ミックスド・アテンションに基づくRGB-Tトラッキング

要約:
– RGB-Tトラッキングは、可視と熱モダリティからの画像を使用します。
– 主要な目的は、単一モダリティのトラッキングに比べて、さまざまな条件下で比較的優れたモダリティを適応的に活用してより堅牢なトラッキングを実現することです。
– 本論文では、ミックスド・アテンション機構に基づくRGB-Tトラッカー（MACFT）を提案します。
– 特徴抽出段階では、トランスフォーマー・バックボーン・ブランチを使用して、異なるモダリティから特定と共有情報を抽出します。
– バックボーンでミックスド・アテンション操作を行うことにより、テンプレートと検索画像の間で情報相互作用と自己強化が可能になり、対象の高レベル意味特徴をよりよく理解する堅牢な特徴表現が構築されます。
– 次に、特徴融合段階において、ミックスド・アテンションベースのモダリティ融合ネットワークを通じてモダリティ適応型融合が実現され、低品質のモダリティノイズを抑圧しながら、優勢モダリティの情報を強化します。
– 複数のRGB-T公開データセットに対する評価では、提案されたトラッカーが一般的な評価指標で他のRGB-Tトラッカーを上回り、また長期トラッキングシナリオに適応できることが示されました。

要約(オリジナル)

RGB-T tracking involves the use of images from both visible and thermal modalities. The primary objective is to adaptively leverage the relatively dominant modality in varying conditions to achieve more robust tracking compared to single-modality tracking. An RGB-T tracker based on mixed attention mechanism to achieve complementary fusion of modalities (referred to as MACFT) is proposed in this paper. In the feature extraction stage, we utilize different transformer backbone branches to extract specific and shared information from different modalities. By performing mixed attention operations in the backbone to enable information interaction and self-enhancement between the template and search images, it constructs a robust feature representation that better understands the high-level semantic features of the target. Then, in the feature fusion stage, a modality-adaptive fusion is achieved through a mixed attention-based modality fusion network, which suppresses the low-quality modality noise while enhancing the information of the dominant modality. Evaluation on multiple RGB-T public datasets demonstrates that our proposed tracker outperforms other RGB-T trackers on general evaluation metrics while also being able to adapt to longterm tracking scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI