A Label Propagation Strategy for CutMix in Multi-Label Remote Sensing Image Classification

要約

マルチラベルシーン分類（MLC）の監視されたディープラーニングベースの方法の開発は、リモートセンシング（RS）の顕著な研究方向の1つです。
しかし、大規模なRS画像アーカイブの注釈を収集するのは時間がかかり、費用がかかります。
この問題に対処するために、Rsでいくつかのデータ増強方法が導入されています。
とりわけ、2つの既存のトレーニング画像の一部を組み合わせて拡張画像を生成するデータ増強技術CutMixは、特に効果的なアプローチとして際立っています。
ただし、RS MLCにCutMixを直接適用すると、増強された（つまり、組み合わせた）トレーニング画像でクラスラベル（つまり、ラベルノイズ）の消去または追加につながる可能性があります。
この問題に対処するために、ラベルノイズの影響を受けずにRSのMLC問題のコンテキストでCutMixを効果的に適用できるようにするラベル伝播（LP）戦略を導入します。
この目的のために、提案されたLP戦略は、ピクセルレベルのクラスの位置情報を活用して、増強されたトレーニング画像のマルチラベルを更新します。
各トレーニング画像（テーマ製品など）に関連付けられた参照マップから、または参照マップが利用できない場合は説明方法で提供されるクラス説明マスクから、このようなクラスの位置情報にアクセスすることを提案します。
2つのトレーニング画像のペアリングと同様に、当社のLP戦略は、関連するピクセルレベルのクラスの位置情報のペアリング操作を実行して、拡張されたマルチラベルを拡張した画像に導き出します。
実験結果は、特に騒々しいクラスの位置情報を備えたさまざまなシミュレートされた実際のシナリオの場合、一般にLP戦略の有効性とその堅牢性を示しています。

要約(オリジナル)

The development of supervised deep learning-based methods for multi-label scene classification (MLC) is one of the prominent research directions in remote sensing (RS). Yet, collecting annotations for large RS image archives is time-consuming and costly. To address this issue, several data augmentation methods have been introduced in RS. Among others, the data augmentation technique CutMix, which combines parts of two existing training images to generate an augmented image, stands out as a particularly effective approach. However, the direct application of CutMix in RS MLC can lead to the erasure or addition of class labels (i.e., label noise) in the augmented (i.e., combined) training image. To address this problem, we introduce a label propagation (LP) strategy that allows the effective application of CutMix in the context of MLC problems in RS without being affected by label noise. To this end, our proposed LP strategy exploits pixel-level class positional information to update the multi-label of the augmented training image. We propose to access such class positional information from reference maps associated to each training image (e.g., thematic products) or from class explanation masks provided by an explanation method if no reference maps are available. Similarly to pairing two training images, our LP strategy carries out a pairing operation on the associated pixel-level class positional information to derive the updated multi-label for the augmented image. Experimental results show the effectiveness of our LP strategy in general and its robustness in the case of various simulated and real scenarios with noisy class positional information in particular.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google