Spectral Transfer Guided Active Domain Adaptation For Thermal Imagery

要約

タイトル：サーマルイメージングのためのスペクトルトランスファーガイドアクティブドメインアダプテーション

要約：

– RGB画像の大規模データセットで訓練されたモデルに低照度条件が生じるため、実世界のタスクにはパフォーマンスのボトルネックが生じる。
– サーマルIRカメラは、そのような条件に対してより堅牢であるため、実世界のアプリケーションでのサーマル画像の使用は有用である。
– 非監督ドメイン適応は、ソースドメインからフルラベルの対象ドメインに情報を転送することを可能にする。
– アクティブドメインアダプテーションは、わずかな数の対象サンプルを注釈を付けてトレーニングに使用することで、非監督ドメイン適応とのパフォーマンスギャップを最小限に抑えようとするものである。
– 可視光スペクトルとサーマル画像モダリティを組み合わせる方法の効率を調べるために、アクティブドメインアダプテーション方法を提案する。
– スペクトルトランスファーガイドアクティブドメインアダプテーション法は、ソースドメインとターゲットドメインを調整しながら、最も情報量の多い未ラベルのターゲットサンプルを選択することを目的としている。
– MS-COCO大規模可視光スペクトルデータセットをソースドメイン、サーマルデータセットFLIR ADASをターゲットドメインとして使用し、提案された方法の結果を示した。
– 広範な実験評価により、提案された方法が従来手法を上回ることが示された。そして、コードとモデルは公開されている。

要約(オリジナル)

The exploitation of visible spectrum datasets has led deep networks to show remarkable success. However, real-world tasks include low-lighting conditions which arise performance bottlenecks for models trained on large-scale RGB image datasets. Thermal IR cameras are more robust against such conditions. Therefore, the usage of thermal imagery in real-world applications can be useful. Unsupervised domain adaptation (UDA) allows transferring information from a source domain to a fully unlabeled target domain. Despite substantial improvements in UDA, the performance gap between UDA and its supervised learning counterpart remains significant. By picking a small number of target samples to annotate and using them in training, active domain adaptation tries to mitigate this gap with minimum annotation expense. We propose an active domain adaptation method in order to examine the efficiency of combining the visible spectrum and thermal imagery modalities. When the domain gap is considerably large as in the visible-to-thermal task, we may conclude that the methods without explicit domain alignment cannot achieve their full potential. To this end, we propose a spectral transfer guided active domain adaptation method to select the most informative unlabeled target samples while aligning source and target domains. We used the large-scale visible spectrum dataset MS-COCO as the source domain and the thermal dataset FLIR ADAS as the target domain to present the results of our method. Extensive experimental evaluation demonstrates that our proposed method outperforms the state-of-the-art active domain adaptation methods. The code and models are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI