Progressive Domain Adaptation for Thermal Infrared Object Tracking

要約

大規模なラベル付き熱赤外（TIR）トレーニングデータセットがないため、既存のTIRトラッカーのほとんどはRGBデータセットで直接トレーニングされている。しかし、RGBデータセットで訓練されたトラッキング手法は、ドメインシフトの問題により、TIRデータでは大きな落差に悩まされる。そのため、本研究では、RGBトラッキングで学習した有用な知識をTIRトラッキングに移行する、TIRトラッキングのためのProgressive Domain Adaptationフレームワーク(PDAT)を提案する。このフレームワークは、大規模なTIRデータのラベリングに時間と労力を要することなく、大規模なラベル付きRGBデータセットをフルに活用する。具体的には、まず、特徴レベルのドメインギャップを粗く削減するために、敵対的ベースのグローバルドメイン適応モジュールを提案する。次に、クラスタリングに基づくサブドメイン適応法を設計し、RGBとTIRデータセットの特徴分布をさらに細かく整合させる。これら2つの領域適応モジュールは、2つの領域間の不一致を徐々に解消することで、漸進的な学習を通じて、領域不変なきめ細かな特徴を学習する。さらに、提案するドメイン適応フレームワークを学習するために、148万枚以上のラベル無しTIR画像を含む大規模なTIRデータセットを収集する。5つのTIR追跡ベンチマークに対する実験結果は、提案手法が6%近い成功率を獲得し、その有効性を実証している。

要約(オリジナル)

Due to the lack of large-scale labeled Thermal InfraRed (TIR) training datasets, most existing TIR trackers are trained directly on RGB datasets. However, tracking methods trained on RGB datasets suffer a significant drop-off in TIR data due to the domain shift issue. To this end, in this work, we propose a Progressive Domain Adaptation framework for TIR Tracking (PDAT), which transfers useful knowledge learned from RGB tracking to TIR tracking. The framework makes full use of large-scale labeled RGB datasets without requiring time-consuming and labor-intensive labeling of large-scale TIR data. Specifically, we first propose an adversarial-based global domain adaptation module to reduce domain gap on the feature level coarsely. Second, we design a clustering-based subdomain adaptation method to further align the feature distributions of the RGB and TIR datasets finely. These two domain adaptation modules gradually eliminate the discrepancy between the two domains, and thus learn domain-invariant fine-grained features through progressive training. Additionally, we collect a largescale TIR dataset with over 1.48 million unlabeled TIR images for training the proposed domain adaptation framework. Experimental results on five TIR tracking benchmarks show that the proposed method gains a nearly 6% success rate, demonstrating its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL