Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification

要約

スペクトル空間特徴学習の有効性は、ハイパースペクトル画像（HSI）の分類タスクにとって極めて重要である。拡散モデルは、画期的な生成モデルの新しいクラスとして、明確なタイムステップ次元から文脈的意味論とテキスト的詳細の両方を学習する能力を持ち、HSIにおける複雑なスペクトル-空間関係のモデリングを可能にする。しかしながら、既存の拡散に基づくHSI分類法は、手動で選択されたシングルタイムステップ・シングルステージ特徴を利用するだけであり、拡散モデルに隠された豊富な文脈的意味論とテキスト情報の完全な探索と利用を制限している。この問題に対処するため、我々はMTMSDと呼ばれる、HSI分類のためのマルチタイムステップ・マルチステージ拡散特徴を初めて探索する、新しい拡散ベースの特徴学習フレームワークを提案する。具体的には、拡散モデルはまずラベル付けされていないHSIパッチで事前学習され、ラベル付けされていないデータの意味合いをマイニングし、次に多段階多段階拡散特徴を抽出するために用いられる。マルチタイムステップ・マルチステージ特徴を効果的かつ効率的に活用するために、さらに2つの戦略が開発された。一つは、クラス・タイムステップ指向の多段階特徴純化モジュールであり、多段階特徴の冗長性を低減し、メモリ制約を緩和するために、クラス間・タイムステップ間事前分布を用いる。もう1つは、テクスチャとセマンティクスを統合するために異なるタイムステップ特徴量を適応的に選択するためのグローバル特徴量のガイダンスを用いた選択的タイムステップ特徴量融合モジュールである。この2つの戦略は、異なるHSIデータの多様なパターンに対するMTMSDフレームワークの汎用性と適応性を促進する。4つの公開HSIデータセットに対して広範な実験を行い、その結果、我々の手法がHSI分類のための最先端の手法、特に困難なHouston 2018データセットを凌駕することを実証した。

要約(オリジナル)

The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL