Multi-view Relation Learning for Cross-domain Few-shot Hyperspectral Image Classification

要約

クロスドメインの少数ショット ハイパースペクトル画像分類は、ソース ドメインの多数のラベル付きサンプルから事前知識を学習し、その知識をターゲット ドメイン内の少数のラベル付きサンプルのみを含むタスクに転送することに焦点を当てています。
メトリックベースの方法に従って、現在の多くの方法は、最初にクエリおよびサポート サンプルの特徴を抽出し、次にサポート サンプルまたはプロトタイプまでの距離に従ってクエリ サンプルのクラスを直接予測します。
サンプル間の関係は十分に調査および利用されていません。
現在の研究とは異なり、この論文は、クロスドメインの少数ショットのハイパースペクトル画像分類を改善するために、さまざまなビューからサンプルの関係を学習し、それらをモデル学習プロセスに取り入れることを提案します。
提案された方法は、ドメインレベルの分布の違いに対処するためにドメイン識別器を採用する現在のDCFSL方法に基づいて、より識別可能なサンプル特徴を取得するためにクラスレベルのサンプル関係を学習するために対照学習を適用します。
さらに、トランスフォーマーベースのクロスアテンション学習モジュールを採用して、セットレベルのサンプル関係を学習し、クエリサンプルからサポートサンプルまでのアテンションを取得します。
私たちの実験結果は、最先端の方法と比較した場合、少数ショットのハイパースペクトル画像分類に対するマルチビュー関係学習メカニズムの貢献を実証しました。

要約(オリジナル)

Cross-domain few-shot hyperspectral image classification focuses on learning prior knowledge from a large number of labeled samples from source domain and then transferring the knowledge to the tasks which contain only few labeled samples in target domains. Following the metric-based manner, many current methods first extract the features of the query and support samples, and then directly predict the classes of query samples according to their distance to the support samples or prototypes. The relations between samples have not been fully explored and utilized. Different from current works, this paper proposes to learn sample relations from different views and take them into the model learning process, to improve the cross-domain few-shot hyperspectral image classification. Building on current DCFSL method which adopts a domain discriminator to deal with domain-level distribution difference, the proposed method applys contrastive learning to learn the class-level sample relations to obtain more discriminable sample features. In addition, it adopts a transformer based cross-attention learning module to learn the set-level sample relations and acquire the attentions from query samples to support samples. Our experimental results have demonstrated the contribution of the multi-view relation learning mechanism for few-shot hyperspectral image classification when compared with the state of the art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google