On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data

要約

最近の深層学習ベースの手法は、リモート センシング (RS) セマンティック セグメンテーション/分類タスクにおいて従来の学習手法を上回ります。
ただし、大規模なトレーニング データセットが必要であり、地理的領域が異なると非常に異質な RS 画像コンテンツが存在するため、転送性が欠如していることが一般的に知られています。
しかし、その移転可能性、つまり、ソース ドメインでトレーニングされたモデルがターゲット ドメインにどの程度容易に適用できるかについての包括的な分析はありません。
したがって、この論文では、従来のディープラーニング (DL) モデルの生の転送可能性と、DL モデルの転送可能性 (適応された転送可能性) を強化するドメイン適応 (DA) アプローチの有効性を調査することを目的としています。
4 つの非常に多様な RS データセットを利用することで、3 つの DA アプローチを使用または使用しない 6 つのモデルをトレーニングし、これらのデータセット間の伝達可能性を定量的に分析します。
さらに、スペクトルインデックスを媒体として使用してモデルの伝達​​性を定量化する簡単な方法を開発し、ラベルが利用できない場合のターゲットドメインでのモデルの伝達​​性を評価する際のその有効性を実証しました。
私たちの実験では、生の転移性と適応された転移性に関して、一般に重要であるがあまり報告されていない観察結果がいくつか得られました。
さらに、私たちが提案したラベルフリーの伝達性評価方法は、事後モデルの信頼性よりも優れていることが検証されています。
この発見は、一般化された RS 学習モデルの将来の開発に役立つ可能性があります。
トレーニングされたモデルは、次のリンクでリリースされます: https://github.com/GDAOSU/Transferability-Remote-Sensing

要約(オリジナル)

Recent deep learning-based methods outperform traditional learning methods on remote sensing (RS) semantic segmentation/classification tasks. However, they require large training datasets and are generally known for lack of transferability due to the highly disparate RS image content across different geographical regions. Yet, there is no comprehensive analysis of their transferability, i.e., to which extent a model trained on a source domain can be readily applicable to a target domain. Therefore, in this paper, we aim to investigate the raw transferability of traditional and deep learning (DL) models, as well as the effectiveness of domain adaptation (DA) approaches in enhancing the transferability of the DL models (adapted transferability). By utilizing four highly diverse RS datasets, we train six models with and without three DA approaches to analyze their transferability between these datasets quantitatively. Furthermore, we developed a straightforward method to quantify the transferability of a model using the spectral indices as a medium and have demonstrated its effectiveness in evaluating the model transferability at the target domain when the labels are unavailable. Our experiments yield several generally important yet not well-reported observations regarding the raw and adapted transferability. Moreover, our proposed label-free transferability assessment method is validated to be better than posterior model confidence. The findings can guide the future development of generalized RS learning models. The trained models are released under this link: https://github.com/GDAOSU/Transferability-Remote-Sensing

arxiv情報

提供元, 利用サービス

arxiv.jp, Google