Estimating Physical Information Consistency of Channel Data Augmentation for Remote Sensing Images

要約

深層学習 (DL) 手法にデータ拡張を適用することは、教師あり、半教師あり、自己教師ありの画像分類において最先端の結果を達成する上で重要な役割を果たします。
特に、チャネル変換 (ソラリゼーション、グレースケール、輝度調整など) は、リモート センシング (RS) 画像分類タスク用のデータ拡張パイプラインに統合されています。
ただし、RS 画像への適切な適用については、矛盾した信念が存在します。
批判の共通点は、チャネル拡張技術の適用により、物理的に一貫性のないスペクトル データ (つまり、ピクセル シグネチャ) が生じる可能性があるということです。
公開された議論に光を当てるために、チャネル拡張技術が RS 画像の物理情報に影響を与えるかどうかを推定するアプローチを提案します。
この目的を達成するために、提案されたアプローチは、取得条件や植生季節学的状態などの要因によって自然に変動する可能性がある時系列内のピクセル シグネチャの位置合わせを測定するスコアを推定します。
オリジナルのピクセル署名と拡張されたピクセル署名に関連付けられたスコアを比較して、物理的な一貫性を評価します。
マルチラベル画像分類タスクの実験結果は、元のピクセル署名の予想偏差を超えるスコアをもたらすチャネル拡張では、拡張なしでトレーニングされたベースライン モデルのパフォーマンスを向上させることはできないことを示しています。

要約(オリジナル)

The application of data augmentation for deep learning (DL) methods plays an important role in achieving state-of-the-art results in supervised, semi-supervised, and self-supervised image classification. In particular, channel transformations (e.g., solarize, grayscale, brightness adjustments) are integrated into data augmentation pipelines for remote sensing (RS) image classification tasks. However, contradicting beliefs exist about their proper applications to RS images. A common point of critique is that the application of channel augmentation techniques may lead to physically inconsistent spectral data (i.e., pixel signatures). To shed light on the open debate, we propose an approach to estimate whether a channel augmentation technique affects the physical information of RS images. To this end, the proposed approach estimates a score that measures the alignment of a pixel signature within a time series that can be naturally subject to deviations caused by factors such as acquisition conditions or phenological states of vegetation. We compare the scores associated with original and augmented pixel signatures to evaluate the physical consistency. Experimental results on a multi-label image classification task show that channel augmentations yielding a score that exceeds the expected deviation of original pixel signatures can not improve the performance of a baseline model trained without augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google