SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP

要約

Hyperspectral Image（HSI）分類は、HSIの各ピクセルを特定の土地被覆クラスに分類することを目的としています。これは、リモートセンシング、環境監視、農業などの用途に重要です。
ディープラーニングベースのHSI分類方法は大きな進歩を達成していますが、既存の方法は依然としてトレーニングのための手動でラベル付けされたデータに依存していますが、これは時間がかかり、労働集約型の両方です。
クリップ（特別）に基づくフレームワーク、手動注釈の必要性を排除することを目的としています。
特別なフレームワークは、2つの主要な段階で構成されています。（1）クリップベースの擬似ラベル生成、（2）ノイズのあるラベル学習。
最初の段階では、HSIはRGBバンドを生産するためにスペクトル補間されています。
その後、これらのバンドはクリップを使用して分類され、信頼スコアを伴う騒々しい擬似ラベルになります。これらのラベルの品質を向上させるために、複数の空間スケールからの予測を融合するスケーリング戦略を提案します。
第2段階では、ラベルノイズを軽減し、分類の精度をさらに強化するために、スペクトル情報とラベルの改良技術が組み込まれています。
3つのベンチマークデータセットでの実験結果は、当社の特別がゼロショットHSI分類の既存の方法を上回り、より実用的なアプリケーションの可能性を示していることを示しています。
このコードは、https：//github.com/lipang/specialで入手できます。

要約(オリジナル)

Hyperspectral image (HSI) classification aims at categorizing each pixel in an HSI into a specific land cover class, which is crucial for applications like remote sensing, environmental monitoring, and agriculture. Although deep learning-based HSI classification methods have achieved significant advancements, existing methods still rely on manually labeled data for training, which is both time-consuming and labor-intensive.To address this limitation, we introduce a novel zero-shot hyperspectral image classification framework based on CLIP (SPECIAL), aiming to eliminate the need for manual annotations. The SPECIAL framework consists of two main stages: (1) CLIP-based pseudo-label generation, and (2) noisy label learning. In the first stage, HSI is spectrally interpolated to produce RGB bands. These bands are subsequently classified using CLIP, resulting in noisy pseudo-labels that are accompanied by confidence scores.To improve the quality of these labels, we propose a scaling strategy that fuses predictions from multiple spatial scales. In the second stage, spectral information and a label refinement technique are incorporated to mitigate label noise and further enhance classification accuracy. Experimental results on three benchmark datasets demonstrate that our SPECIAL outperforms existing methods in zero-shot HSI classification, showing its potential for more practical applications. The code is available at https://github.com/LiPang/SPECIAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google