Learning Historical Status Prompt for Accurate and Robust Visual Tracking

要約

ほとんどのトラッカーは、追跡中にテンプレートと検索領域の類似性マッチングを行い、テンプレートに最も類似したオブジェクトを見つける。しかしながら、それらは、前のフレームの予測結果に基づいて現在の探索領域を大まかに切り取ることによってもたらされる限られた履歴情報のために、ターゲットの外観が変化したときに予測を行うのに苦労している。本論文では、既存のトラッカーの性能を向上させるための中心的な障害は、豊富で効果的な履歴情報を統合できないことであることを明らかにする。この問題に対処するため、我々は履歴情報の提供を強化する履歴情報プロンプター（HIP）を提案する。また、HIPモジュールの上にHIPTrackを構築する。HIPはプラグアンドプレイモジュールであり、検索領域の特徴をフルに活用し、履歴外観情報を導入する。また、ターゲットの洗練されたマスクを構築することで、過去の位置情報も取り込む。HIPは、履歴情報プロンプトを生成する軽量モジュールである。履歴情報プロンプトを統合することにより、HIPTrackはバックボーンを再教育することなく、追跡性能を大幅に向上させる。実験結果は、LaSOT、LaSOT ext、GOT10k、NfSにおいて、我々の手法が全ての最先端アプローチを凌駕することを示している。さらに、HIPモジュールは強力な汎用性を示し、トラッキング性能を向上させるためにトラッカーにシームレスに統合することができる。ソースコードとモデルはさらなる研究のために公開される予定である。

要約(オリジナル)

Most trackers perform template and search region similarity matching to find the most similar object to the template during tracking. However, they struggle to make prediction when the target appearance changes due to the limited historical information introduced by roughly cropping the current search region based on the predicted result of previous frame. In this paper, we identify that the central impediment to improving the performance of existing trackers is the incapacity to integrate abundant and effective historical information. To address this issue, we propose a Historical Information Prompter (HIP) to enhance the provision of historical information. We also build HIPTrack upon HIP module. HIP is a plug-and-play module that make full use of search region features to introduce historical appearance information. It also incorporates historical position information by constructing refined mask of the target. HIP is a lightweight module to generate historical information prompts. By integrating historical information prompts, HIPTrack significantly enhances the tracking performance without the need to retrain the backbone. Experimental results demonstrate that our method outperforms all state-of-the-art approaches on LaSOT, LaSOT ext, GOT10k and NfS. Futhermore, HIP module exhibits strong generality and can be seamlessly integrated into trackers to improve tracking performance. The source code and models will be released for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL