Density Crop-guided Semi-supervised Object Detection in Aerial Images

要約

最新の物体検出器をトレーニングする際の重要なボトルネックの 1 つは、画像内に存在する各物体に対して境界ボックスの注釈を作成する必要があるラベル付き画像の必要性です。
このボトルネックは航空画像ではさらに悪化します。航空画像では、アノテーターが高解像度画像上でクラスターに分散していることが多い小さなオブジェクトにラベルを付ける必要があります。
最近では、擬似ラベルと弱-強拡張一貫性を使用してトレーニングされた平均教師アプローチが、半教師ありオブジェクト検出で人気を集めています。
ただし、このような半教師あり検出器を、小さな塊状の物体が多く存在する航空画像に直接適用すると、最適な結果が得られない可能性があります。
この論文では、トレーニング中に小さなオブジェクトのクラスターを識別し、それらを活用して推論時のパフォーマンスを向上させる、密度クロップガイドによる半教師あり検出器を提案します。
トレーニング中に、ラベル付き画像とラベルなし画像から識別されたクラスターの画像クロップがトレーニング セットを拡張するために使用されます。これにより、小さなオブジェクトを検出し、ラベルなし画像上の小さなオブジェクトに対して適切な擬似ラベルを作成する可能性が高まります。
推論中、検出器は対象のオブジェクトだけでなく、小さなオブジェクトが高密度に存在する領域 (密度クロップ) も検出できるため、入力画像からの検出と画像クロップからの検出が組み合わされ、全体的により正確な結果が得られます。
オブジェクト予測、特に小さなオブジェクトの場合。
VisDrone および DOTA データセットの一般的なベンチマークに関する実証研究では、COCO スタイル AP の基本的な平均教師法と比較して平均 2\% 以上の改善を示した、密度クロップガイドによる半教師あり検出器の有効性が示されています。
私たちのコードは https://github.com/akhilpm/DroneSSOD で入手できます。

要約(オリジナル)

One of the important bottlenecks in training modern object detectors is the need for labeled images where bounding box annotations have to be produced for each object present in the image. This bottleneck is further exacerbated in aerial images where the annotators have to label small objects often distributed in clusters on high-resolution images. In recent days, the mean-teacher approach trained with pseudo-labels and weak-strong augmentation consistency is gaining popularity for semi-supervised object detection. However, a direct adaptation of such semi-supervised detectors for aerial images where small clustered objects are often present, might not lead to optimal results. In this paper, we propose a density crop-guided semi-supervised detector that identifies the cluster of small objects during training and also exploits them to improve performance at inference. During training, image crops of clusters identified from labeled and unlabeled images are used to augment the training set, which in turn increases the chance of detecting small objects and creating good pseudo-labels for small objects on the unlabeled images. During inference, the detector is not only able to detect the objects of interest but also regions with a high density of small objects (density crops) so that detections from the input image and detections from image crops are combined, resulting in an overall more accurate object prediction, especially for small objects. Empirical studies on the popular benchmarks of VisDrone and DOTA datasets show the effectiveness of our density crop-guided semi-supervised detector with an average improvement of more than 2\% over the basic mean-teacher method in COCO style AP. Our code is available at: https://github.com/akhilpm/DroneSSOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google