CLIP-guided Source-free Object Detection in Aerial Images

要約

航空画像の視覚的表現は地理的位置、時間、気象条件などの要因に基づいて大幅に変化する可能性があるため、航空画像ではドメイン適応が非常に重要です。
さらに、高解像度の航空画像は多くの場合、相当な保存スペースを必要とし、一般の人が容易にアクセスできない場合があります。
これらの課題に対処するために、私たちは新しいソースフリーオブジェクト検出 (SFOD) 方法を提案します。
具体的には、私たちのアプローチは自己トレーニングのフレームワークに基づいて構築されています。
ただし、ラベル付きトレーニング データがない場合、自己トレーニングは不正確な学習につながる可能性があります。
この問題に対処するために、CLIP ガイド付き集約と呼ばれる疑似ラベルの生成をガイドする Contrastive Language-Image Pre-training (CLIP) をさらに統合します。
CLIP のゼロショット分類機能を活用して、元の予測境界ボックスでスコアを集計し、擬似ラベルの洗練されたスコアを取得できるようにします。
私たちの方法の有効性を検証するために、DIOR データセットに基づいて、異なるドメインから DIOR-C と DIOR-Cloudy という名前の 2 つの新しいデータセットを構築しました。
実験により、私たちの方法が他の比較アルゴリズムよりも優れていることが実証されました。

要約(オリジナル)

Domain adaptation is crucial in aerial imagery, as the visual representation of these images can significantly vary based on factors such as geographic location, time, and weather conditions. Additionally, high-resolution aerial images often require substantial storage space and may not be readily accessible to the public. To address these challenges, we propose a novel Source-Free Object Detection (SFOD) method. Specifically, our approach is built upon a self-training framework; however, self-training can lead to inaccurate learning in the absence of labeled training data. To address this issue, we further integrate Contrastive Language-Image Pre-training (CLIP) to guide the generation of pseudo-labels, termed CLIP-guided Aggregation. By leveraging CLIP’s zero-shot classification capability, we use it to aggregate scores with the original predicted bounding boxes, enabling us to obtain refined scores for the pseudo-labels. To validate the effectiveness of our method, we constructed two new datasets from different domains based on the DIOR dataset, named DIOR-C and DIOR-Cloudy. Experiments demonstrate that our method outperforms other comparative algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google