Efficient Visual Tracking with Exemplar Transformers

要約

より複雑で強力なニューラルネットワークモデルの設計により、視覚オブジェクト追跡の最先端技術が大幅に進歩しました。
これらの進歩は、より深いネットワーク、または変圧器などの新しいビルディングブロックの導入に起因する可能性があります。
ただし、追跡パフォーマンスの向上を追求する場合、実行時間が妨げられることがよくあります。
さらに、効率的な追跡アーキテクチャは驚くほどほとんど注目されていません。
この論文では、リアルタイムの視覚オブジェクト追跡のために単一インスタンスレベルの注意層を利用するトランスフォーマーモジュールであるExemplarTransformerを紹介します。
Exemplar Transformerモジュールを組み込んだビジュアルトラッカーであるE.T.Trackは、CPU上で47FPSで動作します。
これは、他のトランスベースのモデルよりも最大8倍高速です。
標準CPUでリアルタイムに動作できる軽量トラッカーと比較すると、E.T。Trackは、LaSOT、OTB-100、NFS、TrackingNet、およびVOT-ST2020データセットの他のすべてのメソッドよりも一貫して優れています。
コードは公開時に公開されます。

要約(オリジナル)

The design of more complex and powerful neural network models has significantly advanced the state-of-the-art in visual object tracking. These advances can be attributed to deeper networks, or the introduction of new building blocks, such as transformers. However, in the pursuit of increased tracking performance, runtime is often hindered. Furthermore, efficient tracking architectures have received surprisingly little attention. In this paper, we introduce the Exemplar Transformer, a transformer module utilizing a single instance level attention layer for realtime visual object tracking. E.T.Track, our visual tracker that incorporates Exemplar Transformer modules, runs at 47 FPS on a CPU. This is up to 8x faster than other transformer-based models. When compared to lightweight trackers that can operate in realtime on standard CPUs, E.T.Track consistently outperforms all other methods on the LaSOT, OTB-100, NFS, TrackingNet, and VOT-ST2020 datasets. The code will be made publicly available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google