CMAR-Net: Accurate Cross-Modal 3D SAR Reconstruction of Vehicle Targets with Sparse Multi-Baseline Data

要約

マルチベースライン合成開口レーダー (SAR) 三次元 (3D) 断層撮影は、従来の SAR イメージングでは利用できない 3D 解像度を提供する重要なリモート センシング技術です。
ただし、高品質のイメージングを実現するには、通常、マルチアングルまたはフルアパーチャのデータが必要となるため、イメージングに多額のコストがかかります。
限られた開口からのデータに依存するスパース 3D SAR の最近の進歩は、費用対効果の高い代替手段として注目を集めています。
特に、深層学習技術により、スパース 3D SAR の画像品質が著しく向上しました。
こうした進歩にもかかわらず、既存の手法は主にディープ ニューラル ネットワーク (DNN) のトレーニングを監視するための高解像度レーダー画像に依存しています。
このシングルモーダル データへの独占的な依存により、他のデータ ソースからの補完的な情報の導入が妨げられ、画像処理パフォーマンスのさらなる向上が制限されます。
この論文では、異種情報を統合することで 3D SAR イメージングを強化するクロスモーダル 3D-SAR 再構成ネットワーク (CMAR-Net) を紹介します。
CMAR-Net は、2D 光学画像からのクロスモーダル監視と微分可能レンダリングによって保証される誤差転送を活用して、効率的なトレーニングを実現し、特に車両ターゲットに対して、非常にまばらなマルチベースライン SAR データを視覚的に構造化された正確な 3D 画像に再構築します。
シミュレートされたデータセットと現実世界のデータセットに対する広範な実験により、CMAR-Net が圧縮センシング (CS) とディープラーニング (DL) に基づく SOTA スパース再構成アルゴリズムよりも大幅に優れていることが実証されました。
さらに、私たちの方法では、時間のかかる全絞りデータ前処理の必要性がなくなり、コンピューターでレンダリングされた光学画像のみに依存するため、データセット構築コストが大幅に削減されます。
この研究は、マルチベースライン SAR 3D イメージングのための深層学習の可能性を強調し、クロスモーダル学習によるレーダー イメージング研究のための新しいフレームワークを導入します。

要約(オリジナル)

Multi-baseline Synthetic Aperture Radar (SAR) three-dimensional (3D) tomography is a crucial remote sensing technique that provides 3D resolution unavailable in conventional SAR imaging. However, achieving high-quality imaging typically requires multi-angle or full-aperture data, resulting in significant imaging costs. Recent advancements in sparse 3D SAR, which rely on data from limited apertures, have gained attention as a cost-effective alternative. Notably, deep learning techniques have markedly enhanced the imaging quality of sparse 3D SAR. Despite these advancements, existing methods primarily depend on high-resolution radar images for supervising the training of deep neural networks (DNNs). This exclusive dependence on single-modal data prevents the introduction of complementary information from other data sources, limiting further improvements in imaging performance. In this paper, we introduce a Cross-Modal 3D-SAR Reconstruction Network (CMAR-Net) to enhance 3D SAR imaging by integrating heterogeneous information. Leveraging cross-modal supervision from 2D optical images and error transfer guaranteed by differentiable rendering, CMAR-Net achieves efficient training and reconstructs highly sparse multi-baseline SAR data into visually structured and accurate 3D images, particularly for vehicle targets. Extensive experiments on simulated and real-world datasets demonstrate that CMAR-Net significantly outperforms SOTA sparse reconstruction algorithms based on compressed sensing (CS) and deep learning (DL). Furthermore, our method eliminates the need for time-consuming full-aperture data preprocessing and relies solely on computer-rendered optical images, significantly reducing dataset construction costs. This work highlights the potential of deep learning for multi-baseline SAR 3D imaging and introduces a novel framework for radar imaging research through cross-modal learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google