Source-free Domain Adaptive Object Detection in Remote Sensing Images

要約

最近の研究では、リモート センシング (RS) 画像のドメイン ギャップを埋めるために教師なしドメイン適応物体検出 (UDAOD) 手法が使用されています。
ただし、UDAOD メソッドは通常、ドメイン適応プロセス中にソース ドメイン データにアクセスできることを前提としています。
この設定は、RS データのプライバシーと送信の難しさのため、現実の世界では現実的ではないことがよくあります。
この課題に対処するために、RS 画像用の実用的なソースフリーオブジェクト検出 (SFOD) 設定を提案します。これは、ソースの事前トレーニング済みモデルのみを使用してターゲットドメイン適応を実行することを目的としています。
我々は、摂動領域の生成と位置合わせの 2 つの部分からなる RS 画像用の新しい SFOD 手法を提案します。
提案されたマルチレベル摂動は、色とスタイルのバイアスに応じて画像レベルおよび特徴レベルでドメインバリアント特徴を摂動させることにより、シンプルかつ効率的な形式で摂動ドメインを構築します。
提案されたマルチレベル アライメントでは、教師と生徒のネットワーク全体で摂動ドメインとターゲット ドメインの間の特徴とラベルの一貫性が計算され、擬似ラベルのノイズを軽減するために特徴プロトタイプの蒸留が導入されます。
摂動ドメインとターゲットドメインで一貫性があることを検出器に要求することにより、検出器はドメイン不変の特徴に焦点を合わせざるを得なくなります。
3 つの合成から実への実験と 3 つのクロスセンサー実験の広範な結果により、ソース ドメイン RS 画像へのアクセスを必要としない私たちの方法の有効性が検証されました。
さらに、コンピュータビジョンデータセットでの実験は、私たちの方法が他の分野にも拡張できることを示しています。
私たちのコードは https://weixliu.github.io/ で入手できます。

要約(オリジナル)

Recent studies have used unsupervised domain adaptive object detection (UDAOD) methods to bridge the domain gap in remote sensing (RS) images. However, UDAOD methods typically assume that the source domain data can be accessed during the domain adaptation process. This setting is often impractical in the real world due to RS data privacy and transmission difficulty. To address this challenge, we propose a practical source-free object detection (SFOD) setting for RS images, which aims to perform target domain adaptation using only the source pre-trained model. We propose a new SFOD method for RS images consisting of two parts: perturbed domain generation and alignment. The proposed multilevel perturbation constructs the perturbed domain in a simple yet efficient form by perturbing the domain-variant features at the image level and feature level according to the color and style bias. The proposed multilevel alignment calculates feature and label consistency between the perturbed domain and the target domain across the teacher-student network, and introduces the distillation of feature prototype to mitigate the noise of pseudo-labels. By requiring the detector to be consistent in the perturbed domain and the target domain, the detector is forced to focus on domaininvariant features. Extensive results of three synthetic-to-real experiments and three cross-sensor experiments have validated the effectiveness of our method which does not require access to source domain RS images. Furthermore, experiments on computer vision datasets show that our method can be extended to other fields as well. Our code will be available at: https://weixliu.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google