CLIP-Guided Source-Free Object Detection in Aerial Images

要約

航空画像の視覚的表現は地理的位置、時間、気象条件などの要因に基づいて大幅に変化する可能性があるため、航空画像ではドメイン適応が非常に重要です。
さらに、高解像度の航空画像は多くの場合、相当な保存スペースを必要とし、一般の人が容易にアクセスできない場合があります。
これらの課題に対処するために、私たちは新しいソースフリーオブジェクト検出 (SFOD) 方法を提案します。
具体的には、私たちのアプローチは自己トレーニング フレームワークから始まり、ベースライン メソッドのパフォーマンスを大幅に向上させます。
自己トレーニングにおけるノイズの多いラベルを軽減するために、Contrastive Language-Image Pre-training (CLIP) を利用して、CLIP ガイド付き集約 (CGA) と呼ばれる疑似ラベルの生成をガイドします。
CLIP のゼロショット分類機能を活用することで、そのスコアを元の予測境界ボックスと集計し、擬似ラベルの洗練されたスコアを取得できるようにします。
私たちの方法の有効性を検証するために、DIOR データセットに基づいて、異なるドメインから DIOR-C と DIOR-Cloudy という名前の 2 つの新しいデータセットを構築しました。
実験結果は、私たちの方法が他の比較アルゴリズムよりも優れていることを示しています。
コードは https://github.com/Lans1ng/SFOD-RS で入手できます。

要約(オリジナル)

Domain adaptation is crucial in aerial imagery, as the visual representation of these images can significantly vary based on factors such as geographic location, time, and weather conditions. Additionally, high-resolution aerial images often require substantial storage space and may not be readily accessible to the public. To address these challenges, we propose a novel Source-Free Object Detection (SFOD) method. Specifically, our approach begins with a self-training framework, which significantly enhances the performance of baseline methods. To alleviate the noisy labels in self-training, we utilize Contrastive Language-Image Pre-training (CLIP) to guide the generation of pseudo-labels, termed CLIP-guided Aggregation (CGA). By leveraging CLIP’s zero-shot classification capability, we aggregate its scores with the original predicted bounding boxes, enabling us to obtain refined scores for the pseudo-labels. To validate the effectiveness of our method, we constructed two new datasets from different domains based on the DIOR dataset, named DIOR-C and DIOR-Cloudy. Experimental results demonstrate that our method outperforms other comparative algorithms. The code is available at https://github.com/Lans1ng/SFOD-RS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google