Generalized Relation Modeling for Transformer Tracking

要約

タイトル：Transformer Trackingのための一般化された関係モデリング

要約：

– 以前の2ストリームトラッカーに比べて、最近の1ストリームトラッキングパイプラインは、テンプレートと検索領域の間で早期に相互作用を可能にするため、注目すべきパフォーマンスの向上を実現しています。
– ただし、既存の1ストリームトラッカーは、すべてのエンコーダレイヤを通じてテンプレートが検索領域内のすべての部分と相互作用するようにします。これにより、抽出される特徴表現が十分に識別的でない場合、ターゲット-バックグラウンドの混乱が発生する可能性があります。
– この問題を緩和するために、適応的トークン分割に基づく一般化された関係モデリング手法を提案します。
– 提案手法は、Transformerトラッキングのアテンションベースの関係モデリングの一般化された定式化であり、前の2ストリームおよび1ストリームパイプラインの両方の長所を継承しながら、適切な検索トークンを選択してテンプレートトークンと相互作用するより柔軟な関係モデリングを実現します。
– トークン分割モジュールの並列計算とエンドツーエンド学習を容易にするために、アテンションマスキング戦略とGumbel-Softmax技術を導入します。
– 広範囲な実験により、提案手法は2ストリームおよび1ストリームパイプラインに優れ、リアルタイムの実行速度で6つの厳しいベンチマークで最先端の性能を発揮することが示されています。

要約(オリジナル)

Compared with previous two-stream trackers, the recent one-stream tracking pipeline, which allows earlier interaction between the template and search region, has achieved a remarkable performance gain. However, existing one-stream trackers always let the template interact with all parts inside the search region throughout all the encoder layers. This could potentially lead to target-background confusion when the extracted feature representations are not sufficiently discriminative. To alleviate this issue, we propose a generalized relation modeling method based on adaptive token division. The proposed method is a generalized formulation of attention-based relation modeling for Transformer tracking, which inherits the merits of both previous two-stream and one-stream pipelines whilst enabling more flexible relation modeling by selecting appropriate search tokens to interact with template tokens. An attention masking strategy and the Gumbel-Softmax technique are introduced to facilitate the parallel computation and end-to-end learning of the token division module. Extensive experiments show that our method is superior to the two-stream and one-stream pipelines and achieves state-of-the-art performance on six challenging benchmarks with a real-time running speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI