Grafting Transformer on Automatically Designed Convolutional Neural Network for Hyperspectral Image Classification

要約

タイトル：自動設計された畳み込みニューラルネットワークにTransformerを接木して、高次元スペクトル画像の分類に使用する

要約：

– 高次元スペクトル画像の分類は、高次元の空間情報とスペクトル情報が豊富であり、異なる地表被覆オブジェクトを区別するための強力な基盤を提供することから、決定する人々にとってホットなトピックです。
– 深層学習技術の発展から、深層学習に基づく高次元スペクトル画像分類方法は、有望な性能を発揮しています。
– 最近、高次元スペクトル画像分類のためのニューロンアーキテクチャ探索（NAS）アルゴリズムがいくつか提案され、さらに高精度化が実現しています。
– 本論文では、NASとTransformerを組み合わせて高次元スペクトル画像分類課題に取り組んでいます。提案手法は、以前の研究と比較して、2つの主な違いがあります。
– 第一に、以前の高次元スペクトル画像分類NAS手法で設計された探索空間を再訪し、スペクトルを支配するセルと空間を支配するセルから構成される新しいハイブリッド探索空間を提案しています。提案されたハイブリッド探索空間は、以前の探索空間と比較して、高次元スペクトル画像データの特性により沿ったものであり、つまり、空間的分解能は比較的低く、スペクトル分解能は極めて高いということです。
– 第二に、分類精度をさらに向上させるために、新興のTransformerモジュールを自動的に設計された畳み込みニューラルネットワークに接木し、CNNによって学習されたローカル領域に焦点を当てた特徴にグローバル情報を追加することを試みました。
– 3つの公開された高次元スペクトル画像データセット上の実験結果から、提案された方法が、手動で設計されたネットワークとNASベースの高次元スペクトル画像分類手法を含めた従来手法よりもはるかに優れた性能を発揮していることが示されました。特に、最近キャプチャされたHouston Universityのデータセットでは、全体的な正確度が約6ポイント向上しました。コードはhttps://github.com/Cecilia-xue/HyT-NASにあります。

要約(オリジナル)

Hyperspectral image (HSI) classification has been a hot topic for decides, as hyperspectral images have rich spatial and spectral information and provide strong basis for distinguishing different land-cover objects. Benefiting from the development of deep learning technologies, deep learning based HSI classification methods have achieved promising performance. Recently, several neural architecture search (NAS) algorithms have been proposed for HSI classification, which further improve the accuracy of HSI classification to a new level. In this paper, NAS and Transformer are combined for handling HSI classification task for the first time. Compared with previous work, the proposed method has two main differences. First, we revisit the search spaces designed in previous HSI classification NAS methods and propose a novel hybrid search space, consisting of the space dominated cell and the spectrum dominated cell. Compared with search spaces proposed in previous works, the proposed hybrid search space is more aligned with the characteristic of HSI data, that is, HSIs have a relatively low spatial resolution and an extremely high spectral resolution. Second, to further improve the classification accuracy, we attempt to graft the emerging transformer module on the automatically designed convolutional neural network (CNN) to add global information to local region focused features learned by CNN. Experimental results on three public HSI datasets show that the proposed method achieves much better performance than comparison approaches, including manually designed network and NAS based HSI classification methods. Especially on the most recently captured dataset Houston University, overall accuracy is improved by nearly 6 percentage points. Code is available at: https://github.com/Cecilia-xue/HyT-NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI