Semi-supervised learning for joint SAR and multispectral land cover classification

要約

半教師あり学習手法は、ラベル付けされたデータの量が少ない場合でも、効果的なモデルを構築できるため、人気が高まっています。
この論文では、マルチスペクトルと合成開口レーダー画像の融合など、\textit{multichannel}モデルの自己教師あり事前トレーニングのフレームワークと特定のタスクを紹介します。
提案された自己監視アプローチは、土地被覆分類のラベルと相関する特徴を学習するのに非常に効果的であることを示します。
これは、センシングモダリティ間のギャップを埋めることと入力のスペクトル特性を活用することを促進する事前トレーニングタスクの明示的な設計によって可能になります。
半教師あり設定では、限られたラベルが利用可能な場合、提案された自己教師あり事前トレーニングと、それに続くSARおよびマルチスペクトルデータによる土地被覆分類の教師あり微調整を使用して、純粋な教師あり学習、ImageNetでのトレーニングからの初期化、
他の最近の自己監視アプローチ。

要約(オリジナル)

Semi-supervised learning techniques are gaining popularity due to their capability of building models that are effective, even when scarce amounts of labeled data are available. In this paper, we present a framework and specific tasks for self-supervised pretraining of \textit{multichannel} models, such as the fusion of multispectral and synthetic aperture radar images. We show that the proposed self-supervised approach is highly effective at learning features that correlate with the labels for land cover classification. This is enabled by an explicit design of pretraining tasks which promotes bridging the gaps between sensing modalities and exploiting the spectral characteristics of the input. In a semi-supervised setting, when limited labels are available, using the proposed self-supervised pretraining, followed by supervised finetuning for land cover classification with SAR and multispectral data, outperforms conventional approaches such as purely supervised learning, initialization from training on ImageNet and other recent self-supervised approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google