Transformer RGBT Tracking with Spatio-Temporal Multimodal Tokens

要約

多くのRGBTトラッキング研究は、主にモーダルフュージョンの設計に焦点を当て、ターゲットの外観の変化を効果的に扱うことを見落としている。いくつかのアプローチは、時間的情報を取り入れるために履歴フレームを導入したり、初期テンプレートを融合・置換したりしているが、それらはオリジナルのターゲット外観を乱し、時間とともに誤差を蓄積する危険性がある。これらの制限を緩和するために、我々は、ロバストなRGBT追跡のために、Transformerの静的マルチモーダルテンプレートとマルチモーダル探索領域から時空間マルチモーダルトークンを混合する、新しいTransformer RGBT追跡アプローチを提案する。我々は、検索領域と相互作用する独立した動的テンプレート・トークンを導入し、外観変化に対応するための時間情報を埋め込む一方、従来の時間的更新によって引き起こされるターゲット外観からの逸脱を防ぐ、オリジナルの信頼できるターゲット外観情報の保存を保証するために、最初の静的テンプレート・トークンの共同特徴抽出プロセスへの関与を保持する。また、マルチモーダルテンプレートトークンのターゲット特徴を、補足的なモーダルキューを取り込むことで強化するために注意機構を用い、マルチモーダル検索領域トークンを、注意機構を介してマルチモーダル動的テンプレートトークンと相互作用させることで、マルチモーダル強化されたターゲット変化情報の伝達を容易にする。我々のモジュールは、変換器バックボーンネットワークに挿入され、共同特徴抽出、検索テンプレートマッチング、およびクロスモーダル相互作用を継承する。3つのRGBTベンチマークデータセットを用いた広範な実験により、提案アプローチは、39.1FPSで動作しながら、他の最先端のトラッキングアルゴリズムと比較して競争力のある性能を維持することが示される。

要約(オリジナル)

Many RGBT tracking researches primarily focus on modal fusion design, while overlooking the effective handling of target appearance changes. While some approaches have introduced historical frames or fuse and replace initial templates to incorporate temporal information, they have the risk of disrupting the original target appearance and accumulating errors over time. To alleviate these limitations, we propose a novel Transformer RGBT tracking approach, which mixes spatio-temporal multimodal tokens from the static multimodal templates and multimodal search regions in Transformer to handle target appearance changes, for robust RGBT tracking. We introduce independent dynamic template tokens to interact with the search region, embedding temporal information to address appearance changes, while also retaining the involvement of the initial static template tokens in the joint feature extraction process to ensure the preservation of the original reliable target appearance information that prevent deviations from the target appearance caused by traditional temporal updates. We also use attention mechanisms to enhance the target features of multimodal template tokens by incorporating supplementary modal cues, and make the multimodal search region tokens interact with multimodal dynamic template tokens via attention mechanisms, which facilitates the conveyance of multimodal-enhanced target change information. Our module is inserted into the transformer backbone network and inherits joint feature extraction, search-template matching, and cross-modal interaction. Extensive experiments on three RGBT benchmark datasets show that the proposed approach maintains competitive performance compared to other state-of-the-art tracking algorithms while running at 39.1 FPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL