IDET: Iterative Difference-Enhanced Transformers for High-Quality Change Detection

要約

変化検出 (CD) は、異なる時間にキャプチャされた画像ペア内の変化領域を検出することを目的としており、さまざまな実世界のアプリケーションで重要な役割を果たします。
それにもかかわらず、既存の作業のほとんどは、機能の違いの品質の影響を無視しながら、機能の違いを最終的な変更マップにマッピングするための高度なネットワーク アーキテクチャの設計に焦点を当てています。
この論文では、異なる観点から CD を研究します。つまり、機能の違いを最適化して変更を強調し、変更されていない領域を抑制する方法を研究し、反復差分強化型変換器 (IDET) と呼ばれる新しいモジュールを提案します。
IDET には、2 つの画像の長距離情報を抽出するための 2 つのトランスフォーマーと、特徴の違いを強調するための 1 つのトランスフォーマーの 3 つのトランスフォーマーが含まれています。
前のトランスフォーマーとは対照的に、3 番目のトランスフォーマーは、最初の 2 つのトランスフォーマーの出力を取得して、機能の違いを繰り返し強化します。
より効果的な改良を実現するために、複数の特徴の違いの改良に画像のマルチスケール表現を使用し、すべての改良を組み合わせる粗から微細への融合戦略を提案する、マルチスケール IDET ベースの変更検出をさらに提案します。
私たちの最終的な CD メソッドは、さまざまなアプリケーション シナリオの下で 6 つの大規模なデータセットに対する 7 つの最先端のメソッドよりも優れており、機能の違いを強化することの重要性と IDET の有効性を示しています。

要約(オリジナル)

Change detection (CD) aims to detect change regions within an image pair captured at different times, playing a significant role in diverse real-world applications. Nevertheless, most of the existing works focus on designing advanced network architectures to map the feature difference to the final change map while ignoring the influence of the quality of the feature difference. In this paper, we study the CD from a different perspective, i.e., how to optimize the feature difference to highlight changes and suppress unchanged regions, and propose a novel module denoted as iterative difference-enhanced transformers (IDET). IDET contains three transformers: two transformers for extracting the long-range information of the two images and one transformer for enhancing the feature difference. In contrast to the previous transformers, the third transformer takes the outputs of the first two transformers to guide the enhancement of the feature difference iteratively. To achieve more effective refinement, we further propose the multi-scale IDET-based change detection that uses multi-scale representations of the images for multiple feature difference refinements and proposes a coarse-to-fine fusion strategy to combine all refinements. Our final CD method outperforms seven state-of-the-art methods on six large-scale datasets under diverse application scenarios, which demonstrates the importance of feature difference enhancements and the effectiveness of IDET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google