Compact Transformer Tracker with Correlative Masked Modeling

要約

Transformer フレームワークは、よく知られているアテンション メカニズムを使用して、テンプレートと検索画像全体の情報集約に優れているため、ビジュアル オブジェクト トラッキングで優れたパフォーマンスを発揮しています。
最新の進歩は、より良い情報集約のための注意メカニズムのバリアントの調査に焦点を当てています。
これらのスキームは、基本的な自己注意メカニズムと同等であるか、そのサブセットでさえあることがわかります。
この論文では、バニラの自己注意構造が情報集約に十分であり、構造的適応が不要であることを証明します。
注意の構造ではなく、どのように識別特徴を抽出して追跡し、ターゲットと検索イメージ間のコミュニケーションを強化するかが鍵となります。
この発見に基づいて、基本的なビジョン トランスフォーマー (ViT) アーキテクチャをメイン トラッカーとして採用し、テンプレートと検索画像を連結して機能を埋め込みます。
エンコーダーが追跡のために不変の特徴をキャプチャするように導くために、元のテンプレートを再構築し、対応するマスクされたトークンから画像を検索する軽量の相関マスクデコーダーをアタッチします。
相関マスク デコーダーは、コンパクトな変換トラッカーのプラグインとして機能し、推論ではスキップされます。
当社のコンパクトトラッカーは、ViT バックボーンとボックスヘッドのみで構成される最もシンプルな構造を採用しており、40 fps で実行できます。
広範な実験により、提案されたコンパクトな変換トラッカーが、高度な注意バリアントを含む既存のアプローチよりも優れていることが示され、追跡タスクにおける自己注意の十分性が実証されています。
私たちの方法は、VOT2020、UAV123、LaSOT、TrackingNet、および GOT-10k ベンチマークとともに、5 つの困難なデータセットで最先端のパフォーマンスを達成します。
私たちのプロジェクトは https://github.com/HUSTDML/CTTrack で入手できます。

要約(オリジナル)

Transformer framework has been showing superior performances in visual object tracking for its great strength in information aggregation across the template and search image with the well-known attention mechanism. Most recent advances focus on exploring attention mechanism variants for better information aggregation. We find these schemes are equivalent to or even just a subset of the basic self-attention mechanism. In this paper, we prove that the vanilla self-attention structure is sufficient for information aggregation, and structural adaption is unnecessary. The key is not the attention structure, but how to extract the discriminative feature for tracking and enhance the communication between the target and search image. Based on this finding, we adopt the basic vision transformer (ViT) architecture as our main tracker and concatenate the template and search image for feature embedding. To guide the encoder to capture the invariant feature for tracking, we attach a lightweight correlative masked decoder which reconstructs the original template and search image from the corresponding masked tokens. The correlative masked decoder serves as a plugin for the compact transform tracker and is skipped in inference. Our compact tracker uses the most simple structure which only consists of a ViT backbone and a box head, and can run at 40 fps. Extensive experiments show the proposed compact transform tracker outperforms existing approaches, including advanced attention variants, and demonstrates the sufficiency of self-attention in tracking tasks. Our method achieves state-of-the-art performance on five challenging datasets, along with the VOT2020, UAV123, LaSOT, TrackingNet, and GOT-10k benchmarks. Our project is available at https://github.com/HUSTDML/CTTrack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google