Predicting Gradient is Better: Exploring Self-Supervised Learning for SAR ATR with a Joint-Embedding Predictive Architecture

要約

増大する合成開口レーダー (SAR) データには、自己教師あり学習 (SSL) 手法を通じて基礎モデルを構築できる可能性があり、大規模なラベルなしデータでの事前トレーニングを使用してさまざまな SAR 自動目標認識 (ATR) タスクを達成できます。
小さなラベル付きサンプルの微調整。
SSL は、データから直接監視信号を構築することを目的としています。これにより、高価な専門家による注釈の必要性が最小限に抑えられ、基礎モデル用に拡大するデータ プールを最大限に活用できます。
この研究では、SAR ATR の基礎モデルへの道を開くことができる、SAR ATR に効果的な SSL 手法を調査します。
SAR ATR の SSL で直面する主な障害は、リモート センシングの小さなターゲットと、SSL のアプローチと信号に対応する SAR 画像のスペックル ノイズです。
これらの課題を克服するために、我々は、ローカルのマスクされたパッチを活用して、目に見えないコンテキストのマルチスケール SAR 勾配表現を予測する、SAR ATR 用の新しいジョイント埋め込み予測アーキテクチャ (SAR-JEPA) を提案します。
SAR-JEPA の重要な側面は、SAR ドメイン機能を統合して、ターゲット機能として高品質の自己教師あり信号を保証することです。
さらに、リモートセンシングにおけるさまざまな小さなターゲットに対応するために、ローカルマスクとマルチスケール機能を採用しています。
他の 4 つのデータセットを事前トレーニングとして使用し、3 つのターゲット認識データセット (車両、船舶、航空機) でフレームワークを微調整および評価することにより、他の SSL 手法を上回るパフォーマンスと、増加する SAR データに対するその有効性を実証します。
この研究は、さまざまなターゲット、シーン、センサーにわたる SAR ターゲット認識における SSL の可能性を示しています。私たちのコードと重みは、\url{https://github.com/waterdischaracter/SAR-JEPA で入手できます。

要約(オリジナル)

The growing Synthetic Aperture Radar (SAR) data has the potential to build a foundation model through Self-Supervised Learning (SSL) methods, which can achieve various SAR Automatic Target Recognition (ATR) tasks with pre-training in large-scale unlabeled data and fine-tuning in small labeled samples. SSL aims to construct supervision signals directly from the data, which minimizes the need for expensive expert annotation and maximizes the use of the expanding data pool for a foundational model. This study investigates an effective SSL method for SAR ATR, which can pave the way for a foundation model in SAR ATR. The primary obstacles faced in SSL for SAR ATR are the small targets in remote sensing and speckle noise in SAR images, corresponding to the SSL approach and signals. To overcome these challenges, we present a novel Joint-Embedding Predictive Architecture for SAR ATR (SAR-JEPA), which leverages local masked patches to predict the multi-scale SAR gradient representations of unseen context. The key aspect of SAR-JEPA is integrating SAR domain features to ensure high-quality self-supervised signals as target features. Besides, we employ local masks and multi-scale features to accommodate the various small targets in remote sensing. By fine-tuning and evaluating our framework on three target recognition datasets (vehicle, ship, and aircraft) with four other datasets as pre-training, we demonstrate its outperformance over other SSL methods and its effectiveness with increasing SAR data. This study showcases the potential of SSL for SAR target recognition across diverse targets, scenes, and sensors.Our codes and weights are available in \url{https://github.com/waterdisappear/SAR-JEPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google