Spectral-Spatial Self-Supervised Learning for Few-Shot Hyperspectral Image Classification

要約

ハイパースペクトル画像（HSI）のいくつかのショット分類は、希少なラベル付きサンプルの課題に直面しています。
自己学習学習（SSL）および少数のショット学習（FSL）は、この問題に対処するための有望な道を提供します。
ただし、既存の方法は、HSIの空間的な幾何学的多様性に適応するのに苦労しており、十分なスペクトル事前知識を欠いています。
これらの課題に取り組むために、少数のショットHSI分類のパフォーマンスを向上させることを目的とした、少数のショットハイパースペクトル画像分類（S4L-FSC）の方法、スペクトル空間的学習学習を提案します。
具体的には、最初に不均一なデータセットを活用して、設計された回転ミラーの自己監視学習（RM-SSL）メソッドをFSLと組み合わせて、空間特徴抽出器を前処理します。
このアプローチにより、モデルは、監督信号として回転とミラーリングラベルを使用してHSIの空間的幾何学的多様性を学習し、少数のショット学習を通じて転送可能な空間メタ知識を取得します。
その後、均質なデータセットは、FSLとマスクされた再構成の自己監視学習（MR-SSL）の組み合わせを介してスペクトル特徴抽出器を冒険するために利用されます。
このモデルは、ランダムにマスクされたスペクトルベクトルから元のスペクトル情報を再構築することを学び、スペクトル依存性を推測します。
並行して、FSLはモデルをガイドして、ピクセルレベルの識別機能を抽出し、それによりモデルに豊富なスペクトルプライアーを埋め込みます。
このスペクトル空間前除去法は、不均一および均質なソースからの知識の統合とともに、モデルのパフォーマンスを大幅に向上させます。
4つのHSIデータセットでの広範な実験は、少数のショットHSI分類のために提案されたS4L-FSCアプローチの有効性と優位性を示しています。

要約(オリジナル)

Few-shot classification of hyperspectral images (HSI) faces the challenge of scarce labeled samples. Self-Supervised learning (SSL) and Few-Shot Learning (FSL) offer promising avenues to address this issue. However, existing methods often struggle to adapt to the spatial geometric diversity of HSIs and lack sufficient spectral prior knowledge. To tackle these challenges, we propose a method, Spectral-Spatial Self-Supervised Learning for Few-Shot Hyperspectral Image Classification (S4L-FSC), aimed at improving the performance of few-shot HSI classification. Specifically, we first leverage heterogeneous datasets to pretrain a spatial feature extractor using a designed Rotation-Mirror Self-Supervised Learning (RM-SSL) method, combined with FSL. This approach enables the model to learn the spatial geometric diversity of HSIs using rotation and mirroring labels as supervisory signals, while acquiring transferable spatial meta-knowledge through few-shot learning. Subsequently, homogeneous datasets are utilized to pretrain a spectral feature extractor via a combination of FSL and Masked Reconstruction Self-Supervised Learning (MR-SSL). The model learns to reconstruct original spectral information from randomly masked spectral vectors, inferring spectral dependencies. In parallel, FSL guides the model to extract pixel-level discriminative features, thereby embedding rich spectral priors into the model. This spectral-spatial pretraining method, along with the integration of knowledge from heterogeneous and homogeneous sources, significantly enhances model performance. Extensive experiments on four HSI datasets demonstrate the effectiveness and superiority of the proposed S4L-FSC approach for few-shot HSI classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google