EHCTNet: Enhanced Hybrid of CNN and Transformer Network for Remote Sensing Image Change Detection

要約

リモートセンシング(RS)による変化検出は、偽陽性よりも偽陰性の方がコストが高いため、高いコストが発生する。既存のフレームワークでは、誤検出のコストを削減するために精度を向上させるのに苦労しているが、注目する変化に焦点を当てることにはまだ限界があり、検出の見落としや不連続性の問題につながっている。本研究では、特徴学習機能を強化し、特徴情報の周波数成分を統合することで、Recall値を段階的に向上させる戦略により、これらの問題に取り組む。CNNとTransformer networkの強化ハイブリッド（EHCTNet）を提案し、興味のある変化情報を効果的にマイニングする。まず、デュアルブランチ特徴抽出モジュールを用いて、RS画像のマルチスケール特徴を抽出する。第二に、これらの特徴の周波数成分が、洗練されたモジュールIによって利用される。第三に、コルモゴロフ・アーノルドネットワークに基づく拡張トークンマイニングモジュールが、意味情報を導出するために利用される。最後に、最終的な検出に有益な意味的変化情報の周波数成分が、洗練されたモジュールIIから採掘される。広範な実験により、関心のある複雑な変化を理解する上でEHCTNetが有効であることが検証された。可視化の結果、EHCTNetはより無傷で連続的な変化領域を検出し、最先端のモデルよりも正確な近傍区別を知覚することが示された。

要約(オリジナル)

Remote sensing (RS) change detection incurs a high cost because of false negatives, which are more costly than false positives. Existing frameworks, struggling to improve the Precision metric to reduce the cost of false positive, still have limitations in focusing on the change of interest, which leads to missed detections and discontinuity issues. This work tackles these issues by enhancing feature learning capabilities and integrating the frequency components of feature information, with a strategy to incrementally boost the Recall value. We propose an enhanced hybrid of CNN and Transformer network (EHCTNet) for effectively mining the change information of interest. Firstly, a dual branch feature extraction module is used to extract the multi scale features of RS images. Secondly, the frequency component of these features is exploited by a refined module I. Thirdly, an enhanced token mining module based on the Kolmogorov Arnold Network is utilized to derive semantic information. Finally, the semantic change information’s frequency component, beneficial for final detection, is mined from the refined module II. Extensive experiments validate the effectiveness of EHCTNet in comprehending complex changes of interest. The visualization outcomes show that EHCTNet detects more intact and continuous changed areas and perceives more accurate neighboring distinction than state of the art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL