SAR-NeRF: Neural Radiance Fields for Synthetic Aperture Radar Multi-View Representation

要約

SAR 画像は観察構成の影響を非常に受けやすく、さまざまな視野角にわたって大きな変化を示すため、その異方性の特徴を表現して学習することが困難になります。
その結果、ディープラーニング手法は、さまざまな視野角にわたってあまり一般化できないことがよくあります。
神経放射輝度場 (NeRF) の概念に触発されたこの研究では、SAR 画像生成メカニズムとニューラル ネットワークを組み合わせて、SAR 画像生成のための新しい NeRF モデルを提案します。
マッピングと投影原理に従って、一連の SAR 画像が、微分可能レンダリング方程式を通じて 3D イメージング空間内の減衰係数と散乱強度の関数として暗黙的にモデル化されます。
次に、ボクセルの減衰係数と散乱強度の分布を学習するために SAR-NeRF が構築されます。ここで、3D ボクセル SAR レンダリング方程式のベクトル化形式と、3D 空間ボクセルと 2D ビュー レイ グリッド間のサンプリング関係が解析的に導出されます。
さまざまなデータセットの定量的な実験を通じて、SAR-NeRF のマルチビュー表現と一般化能力を徹底的に評価します。
さらに、SAR-NeRF 拡張データセットは、少数ショット学習セットアップの下で SAR ターゲット分類パフォーマンスを大幅に向上させることができ、クラスあたり 12 枚の画像のみを使用することで 91.6% の 10 タイプ分類精度を達成できることがわかりました。

要約(オリジナル)

SAR images are highly sensitive to observation configurations, and they exhibit significant variations across different viewing angles, making it challenging to represent and learn their anisotropic features. As a result, deep learning methods often generalize poorly across different view angles. Inspired by the concept of neural radiance fields (NeRF), this study combines SAR imaging mechanisms with neural networks to propose a novel NeRF model for SAR image generation. Following the mapping and projection pinciples, a set of SAR images is modeled implicitly as a function of attenuation coefficients and scattering intensities in the 3D imaging space through a differentiable rendering equation. SAR-NeRF is then constructed to learn the distribution of attenuation coefficients and scattering intensities of voxels, where the vectorized form of 3D voxel SAR rendering equation and the sampling relationship between the 3D space voxels and the 2D view ray grids are analytically derived. Through quantitative experiments on various datasets, we thoroughly assess the multi-view representation and generalization capabilities of SAR-NeRF. Additionally, it is found that SAR-NeRF augumented dataset can significantly improve SAR target classification performance under few-shot learning setup, where a 10-type classification accuracy of 91.6\% can be achieved by using only 12 images per class.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google