Probabilistic Deep Metric Learning for Hyperspectral Image Classification

要約

この論文では、ハイパースペクトル画像分類のための確率論的深層計量学習 (PDML) フレームワークを提案します。これは、ハイパースペクトル センサーによってキャプチャされた画像の各ピクセルのカテゴリを予測することを目的としています。
ハイパースペクトル画像分類の中心的な問題は、クラス内マテリアル間のスペクトル変動とクラス間マテリアル間のスペクトルの類似性であり、周囲のパッチに基づいてピクセルを区別するために空間情報をさらに組み込む動機となります。
ただし、ほとんどのハイパースペクトル センサーの空間解像度が低いため、異なるピクセルや 1 つのパッチ内の同じピクセルでさえ、同じ素材をエンコードしない場合があり、特定のピクセルの判断に一貫性がなくなります。
この問題に対処するために、観測されたピクセルのスペクトル分布のカテゴリの不確実性をモデル化する確率論的ディープ メトリック学習フレームワークを提案します。
パッチ内の各ピクセルのグローバル確率分布と、分布間の距離をモデル化する確率メトリックを学習することを提案します。
パッチ内の各ピクセルをトレーニング サンプルとして扱い、従来の方法と比較してパッチからより多くの情報を活用できるようにします。
私たちのフレームワークは、さまざまなネットワーク アーキテクチャと損失関数を使用して、既存のハイパースペクトル画像分類方法に容易に適用できます。
IN、UP、KSC、およびヒューストン 2013 データセットを含む 4 つの広く使用されているデータセットに関する広範な実験は、私たちのフレームワークが既存の方法のパフォーマンスを改善し、さらに最先端を達成することを示しています。
コードは https://github.com/wzzheng/PDML で入手できます。

要約(オリジナル)

This paper proposes a probabilistic deep metric learning (PDML) framework for hyperspectral image classification, which aims to predict the category of each pixel for an image captured by hyperspectral sensors. The core problem for hyperspectral image classification is the spectral variability between intraclass materials and the spectral similarity between interclass materials, motivating the further incorporation of spatial information to differentiate a pixel based on its surrounding patch. However, different pixels and even the same pixel in one patch might not encode the same material due to the low spatial resolution of most hyperspectral sensors, leading to an inconsistent judgment of a specific pixel. To address this issue, we propose a probabilistic deep metric learning framework to model the categorical uncertainty of the spectral distribution of an observed pixel. We propose to learn a global probabilistic distribution for each pixel in the patch and a probabilistic metric to model the distance between distributions. We treat each pixel in a patch as a training sample, enabling us to exploit more information from the patch compared with conventional methods. Our framework can be readily applied to existing hyperspectral image classification methods with various network architectures and loss functions. Extensive experiments on four widely used datasets including IN, UP, KSC, and Houston 2013 datasets demonstrate that our framework improves the performance of existing methods and further achieves the state of the art. Code is available at: https://github.com/wzzheng/PDML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google