UDHF2-Net: Uncertainty-diffusion-model-based High-Frequency TransFormer Network for Remotely Sensed Imagery Interpretation

要約

遠隔検知画像判読 (RSII) は、次の 3 つの主要な問題に直面しています。(1) 空間分布パターンの客観的な表現。
（２）ダウンサンプリングエンコーダおよび固有のエッジノイズ（例えば、混合ピクセルおよびエッジオクルージョンなど）によって引き起こされるエッジ不確実性の問題。
(3) 変化検出時の幾何学的位置合わせ誤差による誤検出問題。
前述の問題を解決するために、不確実性拡散モデルに基づく高周波変圧器ネットワーク (UDHF2-Net) が最初に提案され、その優位性は次のとおりです。 (1) 空間定常および非定常高周波
-周波数接続パラダイム (SHCP) は、空間周波数的に定常および非定常特徴の相互作用を強化して、高忠実度のエッジ抽出結果を生成するために提案されています。
HRFormer からインスピレーションを得た SHCP は、エンコーダ/デコーダ プロセス全体を通じて HRFormer の高解像度ストリームを置き換える高周波数ストリームを提案しており、周波数方向の高から低までのストリームを並列化することで、エッジ抽出精度を継続的に向上させます。
残りの高周波情報。
(2) 自己教師あり学習戦略であるマスクと地理の知識に基づく不確実性拡散モジュール (MUDM) は、次の条件に基づいてシミュレートされたスペクトル ノイズを段階的に除去することにより、抽出と変化検出のエッジ精度を向上させるために提案されています。
地理情報と生成された拡散スペクトル ノイズ。
(3) 周波数的に半擬似シャム UDHF2-Net は、変化検出の精度と複雑さのバランスをとるために初めて提案されました。
セマンティック セグメンテーションにおける前述のスペクトル ノイズに加えて、MUDM は、幾何学的なレジストレーション エラーを伴う生成された画像からのエッジの誤った変化の検出を効果的に削減する自己教師あり学習戦略でもあります。

要約(オリジナル)

Remotely sensed imagery interpretation (RSII) faces the three major problems: (1) objective representation of spatial distribution patterns; (2) edge uncertainty problem caused by downsampling encoder and intrinsic edge noises (e.g., mixed pixel and edge occlusion etc.); and (3) false detection problem caused by geometric registration error in change detection. To solve the aforementioned problems, uncertainty-diffusion-model-based high-Frequency TransFormer network (UDHF2-Net) is the first to be proposed, whose superiorities are as follows: (1) a spatially-stationary-and-non-stationary high-frequency connection paradigm (SHCP) is proposed to enhance the interaction of spatially frequency-wise stationary and non-stationary features to yield high-fidelity edge extraction result. Inspired by HRFormer, SHCP proposes high-frequency-wise stream to replace high-resolution-wise stream in HRFormer through the whole encoder-decoder process with parallel frequency-wise high-to-low streams, so it improves the edge extraction accuracy by continuously remaining high-frequency information; (2) a mask-and-geo-knowledge-based uncertainty diffusion module (MUDM), which is a self-supervised learning strategy, is proposed to improve the edge accuracy of extraction and change detection by gradually removing the simulated spectrum noises based on geo-knowledge and the generated diffused spectrum noises; (3) a frequency-wise semi-pseudo-Siamese UDHF2-Net is the first to be proposed to balance accuracy and complexity for change detection. Besides the aforementioned spectrum noises in semantic segmentation, MUDM is also a self-supervised learning strategy to effectively reduce the edge false change detection from the generated imagery with geometric registration error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google