Self-Supervised Tracking via Target-Aware Data Synthesis

要約

深層学習ベースの追跡方法は大きな進歩を遂げましたが、十分なトレーニングのために大規模で高品質の注釈付きデータが必要です。
高価で網羅的なアノテーションを排除するために、視覚追跡のための自己教師あり学習を研究しています。
この作業では、オブジェクトの外観の変化や背景の干渉など、追跡中にさまざまな外観の変化をシミュレートすることで、十分なトレーニング データを合成できる Crop-Transform-Paste 操作を開発します。
ターゲットの状態はすべての合成データで既知であるため、既存のディープ トラッカーは、人間による注釈なしで合成データを使用して日常的な方法でトレーニングできます。
提案されたターゲット認識データ合成法は、アルゴリズムを変更することなく、自己教師あり学習フレームワーク内で既存の追跡アプローチを適応させます。
したがって、提案された自己教師あり学習メカニズムは、トレーニングを実行するために既存の追跡フレームワークにシームレスに統合できます。
広範な実験により、私たちの方法は、1) 限られた注釈を持つケースの下で、教師あり学習スキームに対して良好なパフォーマンスを達成することが示されています。
2) その操作性により、オブジェクトの変形、オクルージョン、または背景のクラッターなど、さまざまな追跡の課題に対処するのに役立ちます。
3) 最先端の教師なし追跡方法に対して有利に機能します。
4) SiamRPN++、DiMP、TransT など、さまざまな最先端の教師あり学習フレームワークのパフォーマンスを向上させます。

要約(オリジナル)

While deep-learning based tracking methods have achieved substantial progress, they entail large-scale and high-quality annotated data for sufficient training. To eliminate expensive and exhaustive annotation, we study self-supervised learning for visual tracking. In this work, we develop the Crop-Transform-Paste operation, which is able to synthesize sufficient training data by simulating various appearance variations during tracking, including appearance variations of objects and background interference. Since the target state is known in all synthesized data, existing deep trackers can be trained in routine ways using the synthesized data without human annotation. The proposed target-aware data-synthesis method adapts existing tracking approaches within a self-supervised learning framework without algorithmic changes. Thus, the proposed self-supervised learning mechanism can be seamlessly integrated into existing tracking frameworks to perform training. Extensive experiments show that our method 1) achieves favorable performance against supervised learning schemes under the cases with limited annotations; 2) helps deal with various tracking challenges such as object deformation, occlusion, or background clutter due to its manipulability; 3) performs favorably against state-of-the-art unsupervised tracking methods; 4) boosts the performance of various state-of-the-art supervised learning frameworks, including SiamRPN++, DiMP, and TransT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google