MS-Net: A Multi-modal Self-supervised Network for Fine-Grained Classification of Aircraft in SAR Images

要約

合成開口レーダー (SAR) イメージング技術は、24 時間の全天候型地球観測を提供するために一般的に使用されています。
ただし、SAR ターゲットの分類、特に航空機の詳細な分類には依然としていくつかの欠点があります。SAR 画像内の航空機には、クラス内の多様性とクラス間の類似性が大きくあります。
有効なサンプルの数が不十分であり、注釈を付けるのが困難です。
これらの問題に対処するために、この記事では航空機をきめ細かく分類するための新しいマルチモーダル自己監視ネットワーク (MS-Net) を提案します。
まず、マルチモーダル情報の可能性を完全に活用するために、ターゲットの画像特徴を強化し、テキストモードのドメイン知識特徴を取得するために、両側パス特徴抽出ネットワーク(TSFE-N)を構築します。
次に、対照的自己教師あり学習 (CSSL) フレームワークを使用して、ラベルに依存しない有用な特徴を不平衡データから効果的に学習し、ネットワークの過剰適合を回避するために類似性知覚損失 (SPloss) を提案します。
最後に、TSFE-N を CSSL のエンコーダとして使用して、分類結果を取得します。
多数の実験を通じて、当社の MS-Net は、同様のタイプの航空機を分類する難しさを効果的に軽減することができます。
ラベルがない場合、提案されたアルゴリズムは 17 種類の航空機分類タスクに対して 88.46% の精度を達成しました。これは、SAR 画像における航空機の詳細な分類の分野において先駆的な意義があります。

要約(オリジナル)

Synthetic aperture radar (SAR) imaging technology is commonly used to provide 24-hour all-weather earth observation. However, it still has some drawbacks in SAR target classification, especially in fine-grained classification of aircraft: aircrafts in SAR images have large intra-class diversity and inter-class similarity; the number of effective samples is insufficient and it’s hard to annotate. To address these issues, this article proposes a novel multi-modal self-supervised network (MS-Net) for fine-grained classification of aircraft. Firstly, in order to entirely exploit the potential of multi-modal information, a two-sided path feature extraction network (TSFE-N) is constructed to enhance the image feature of the target and obtain the domain knowledge feature of text mode. Secondly, a contrastive self-supervised learning (CSSL) framework is employed to effectively learn useful label-independent feature from unbalanced data, a similarity per-ception loss (SPloss) is proposed to avoid network overfitting. Finally, TSFE-N is used as the encoder of CSSL to obtain the classification results. Through a large number of experiments, our MS-Net can effectively reduce the difficulty of classifying similar types of aircrafts. In the case of no label, the proposed algorithm achieves an accuracy of 88.46% for 17 types of air-craft classification task, which has pioneering significance in the field of fine-grained classification of aircraft in SAR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google