Unpaired Object-Level SAR-to-Optical Image Translation for Aircraft with Keypoints-Guided Diffusion Models

要約

合成開口レーダー（SAR）画像は、全天候型、終日、高解像度のイメージング機能を提供しますが、そのユニークなイメージングメカニズムにより、特に複雑なターゲットタスクで解釈可能性を制限し、専門知識に大きく依存して解釈が依存します。
SAR画像を光画像に変換することは、解釈を強化し、下流タスクをサポートするための有望なソリューションです。
ほとんどの既存の研究は、ペアのデータが不足しているため、オブジェクトレベルの翻訳に関する制限の作業と、輪郭とテクスチャの詳細を正確に保存するという課題により、オブジェクトレベルの翻訳に関する限られた作業があります。
これらの問題に対処するために、この研究では、対応のない航空機のターゲットのSARからオプテ​​ィカル画像翻訳のためのキーポイント誘導拡散モデル（keypointDiff）を提案しています。
このフレームワークでは、ターゲットクラスとキーポイントを介した方位角の監督と、対応のないデータのトレーニング戦略を紹介します。
分類器のないガイダンス拡散アーキテクチャに基づいて、クラスアングルガイダンスモジュール（CAGM）は、クラスと角度の情報を拡散生成プロセスに統合するように設計されています。
さらに、航空機のターゲットに合わせて調整された画像の忠実度と詳細品質を改善するために、敵対的な損失と一貫性の損失が採用されています。
事前に訓練されたキーポイント検出器によって支援されたサンプリング中、このモデルは、手動でラベル付けされたクラスと方位角情報の要件を排除し、自動化されたSARから光への翻訳を可能にします。
実験結果は、提案された方法が複数のメトリックにわたって既存のアプローチよりも優れていることを示しており、オブジェクトレベルのSARから眼への翻訳および下流タスクに効率的かつ効果的なソリューションを提供します。
さらに、この方法は、キーポイント検出器の支援を受けて、訓練されていない航空機の種類に強いゼロショットの一般化を示します。

要約(オリジナル)

Synthetic Aperture Radar (SAR) imagery provides all-weather, all-day, and high-resolution imaging capabilities but its unique imaging mechanism makes interpretation heavily reliant on expert knowledge, limiting interpretability, especially in complex target tasks. Translating SAR images into optical images is a promising solution to enhance interpretation and support downstream tasks. Most existing research focuses on scene-level translation, with limited work on object-level translation due to the scarcity of paired data and the challenge of accurately preserving contour and texture details. To address these issues, this study proposes a keypoint-guided diffusion model (KeypointDiff) for SAR-to-optical image translation of unpaired aircraft targets. This framework introduces supervision on target class and azimuth angle via keypoints, along with a training strategy for unpaired data. Based on the classifier-free guidance diffusion architecture, a class-angle guidance module (CAGM) is designed to integrate class and angle information into the diffusion generation process. Furthermore, adversarial loss and consistency loss are employed to improve image fidelity and detail quality, tailored for aircraft targets. During sampling, aided by a pre-trained keypoint detector, the model eliminates the requirement for manually labeled class and azimuth information, enabling automated SAR-to-optical translation. Experimental results demonstrate that the proposed method outperforms existing approaches across multiple metrics, providing an efficient and effective solution for object-level SAR-to-optical translation and downstream tasks. Moreover, the method exhibits strong zero-shot generalization to untrained aircraft types with the assistance of the keypoint detector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google