Efficient Visual Tracking with Exemplar Transformers

要約

より複雑で強力なニューラルネットワークモデルの設計により、ビジュアルオブジェクトトラッキングの最先端が大きく前進しました。これらの進歩は、より深いネットワークや、トランスフォーマーなどの新しいビルディングブロックの導入に起因しています。しかし、トラッキング性能の向上を追求するあまり、ランタイムに支障をきたすことも少なくありません。さらに、効率的なトラッキングアーキテクチャは驚くほど注目されていない。本論文では、実時間視覚物体追跡のための単一インスタンスレベルの注意層を利用したトランスフォーマーモジュール、Exemplar Transformerを紹介します。Exemplar Transformerモジュールを組み込んだ我々のビジュアルトラッカーであるE.T.Trackは、CPU上で47 FPSで動作する。これは、他のトランスフォーマーベースのモデルに比べて最大8倍の速さです。標準的なCPUでリアルタイムに動作する軽量トラッカーと比較すると、LaSOT、OTB-100、NFS、TrackingNet、VOT-ST2020のデータセットにおいて、E.T.Trackは常に他のすべての手法より優れた性能を発揮しています。コードとモデルは https://github.com/pblatter/ettrack で入手可能です。

要約(オリジナル)

The design of more complex and powerful neural network models has significantly advanced the state-of-the-art in visual object tracking. These advances can be attributed to deeper networks, or the introduction of new building blocks, such as transformers. However, in the pursuit of increased tracking performance, runtime is often hindered. Furthermore, efficient tracking architectures have received surprisingly little attention. In this paper, we introduce the Exemplar Transformer, a transformer module utilizing a single instance level attention layer for realtime visual object tracking. E.T.Track, our visual tracker that incorporates Exemplar Transformer modules, runs at 47 FPS on a CPU. This is up to 8x faster than other transformer-based models. When compared to lightweight trackers that can operate in realtime on standard CPUs, E.T.Track consistently outperforms all other methods on the LaSOT, OTB-100, NFS, TrackingNet, and VOT-ST2020 datasets. Code and models are available at https://github.com/pblatter/ettrack.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL