Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping

要約

タイトル： SARと光学利用の多様化に関する調査

要約：

– 正確な都市マップは、持続可能な都市開発を支援するために必要な情報を提供する。

– 最近の都市マッピング方法は、合成開口レーダー（SAR）と光学データを融合させるために、多様な深層ニューラルネットワークを使用する。

– しかし、多様なネットワークには学習の貪欲性のために、1つのモダリティに依存する可能性がある。結果として、モダリティの不均衡な利用はネットワークの汎化能力に悪影響を与える可能性がある。

– 本論文では、都市マッピングにおけるSARと光学データの利用について調査する。そのために、中間融合モジュールを使用して、単一モダルの枝間で情報を共有するデュアルブランチネットワークアーキテクチャを使用する。

– 融合モジュールでのカットオフメカニズムにより、枝間の情報フローを停止することができるため、ネットワークのSARと光学データへの依存度を推定するために使用される。

– SEN12 Global Urban Mappingデータセットに対する実験では、従来のSAR-光学データ融合により良好な性能が得られることが示された（F1スコア = 0.682±0.014）。しかし、光学データの不十分な利用が明らかになったため、今後の研究でよりバランスよくSARと光学データを利用することが性能向上につながるかどうかを調査する必要がある。

要約(オリジナル)

Accurate urban maps provide essential information to support sustainable urban development. Recent urban mapping methods use multi-modal deep neural networks to fuse Synthetic Aperture Radar (SAR) and optical data. However, multi-modal networks may rely on just one modality due to the greedy nature of learning. In turn, the imbalanced utilization of modalities can negatively affect the generalization ability of a network. In this paper, we investigate the utilization of SAR and optical data for urban mapping. To that end, a dual-branch network architecture using intermediate fusion modules to share information between the uni-modal branches is utilized. A cut-off mechanism in the fusion modules enables the stopping of information flow between the branches, which is used to estimate the network’s dependence on SAR and optical data. While our experiments on the SEN12 Global Urban Mapping dataset show that good performance can be achieved with conventional SAR-optical data fusion (F1 score = 0.682 $\pm$ 0.014), we also observed a clear under-utilization of optical data. Therefore, future work is required to investigate whether a more balanced utilization of SAR and optical data can lead to performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI