Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery

要約

衛星画像は、環境モニタリングや都市計画などのタスクにとって非常に重要です。
通常、セマンティック セグメンテーションまたは土地利用土地被覆 (LULC) 分類に基づいて各ピクセルを分類します。
ディープ ニューラル ネットワーク (DNN) によってもたらされた進歩にもかかわらず、ラベル付きデータの利用制限、クラスの不均衡、衛星画像の固有の変動性と複雑さなどの課題により、セグメンテーション タスクにおけるパフォーマンスが妨げられています。
これらの問題を軽減するために、私たちの研究では、衛星画像のセマンティック セグメンテーションに対するカット アンド ペースト拡張手法の有効性を調査しています。
通常はラベル付きインスタンスが必要となるこの拡張を、セマンティック セグメンテーションの場合に適応させます。
セマンティック セグメンテーション ラベルの接続コンポーネントを利用することで、インスタンスを抽出し、トレーニング中にランダムに貼り付けます。
DynamicEarthNet データセットと U-Net モデルを評価に使用したところ、この拡張によってテスト セットの mIoU スコアが 37.9 から 44.1 に大幅に向上することがわかりました。
この発見は、衛星画像におけるセマンティック セグメンテーション モデルの一般化機能を向上させるカット アンド ペースト拡張の​​可能性を強調しています。

要約(オリジナル)

Satellite imagery is crucial for tasks like environmental monitoring and urban planning. Typically, it relies on semantic segmentation or Land Use Land Cover (LULC) classification to categorize each pixel. Despite the advancements brought about by Deep Neural Networks (DNNs), their performance in segmentation tasks is hindered by challenges such as limited availability of labeled data, class imbalance and the inherent variability and complexity of satellite images. In order to mitigate those issues, our study explores the effectiveness of a Cut-and-Paste augmentation technique for semantic segmentation in satellite images. We adapt this augmentation, which usually requires labeled instances, to the case of semantic segmentation. By leveraging the connected components in the semantic segmentation labels, we extract instances that are then randomly pasted during training. Using the DynamicEarthNet dataset and a U-Net model for evaluation, we found that this augmentation significantly enhances the mIoU score on the test set from 37.9 to 44.1. This finding highlights the potential of the Cut-and-Paste augmentation to improve the generalization capabilities of semantic segmentation models in satellite imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google