Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement

要約

低照度のリモート センシング画像は一般に、空間内に連続的に分布した表面特徴を備えた高解像度と高い空間複雑性を特徴としています。
このシーンの連続性により、リモート センシング画像内の空間領域で広範囲にわたる長距離相関が生じます。
畳み込みニューラル ネットワークは、長距離のモデリングを局所的な相関に依存しますが、そのような画像で長距離の相関を確立するのは困難です。
一方、グローバル情報に焦点を当てたトランスフォーマーベースの手法は、高解像度のリモートセンシング画像を処理する際に高い計算の複雑さに直面します。
別の観点から見ると、フーリエ変換は多数のパラメータを導入することなくグローバル情報を計算できるため、ネットワークが画像全体の構造をより効率的にキャプチャし、長距離の相関関係を確立できるようになります。
したがって、我々は、低照度リモートセンシング画像強化のためのデュアルドメイン機能融合ネットワーク（DFFN）を提案します。
具体的には、低照度補正というこの困難なタスクは、さらに管理しやすい 2 つのサブタスクに分割されます。最初のフェーズでは振幅情報を学習して画像の明るさを復元し、第 2 フェーズでは位相情報を学習して詳細を調整します。
2 つのフェーズ間の情報交換を容易にするために、異なるフェーズとスケールのデータを結合する情報融合アフィン ブロックを設計しました。
さらに、暗光リモート センシング画像強化における現在のデータセットの不足に対処するために、2 つの暗光リモート センシング データセットを構築しました。
広範な評価により、私たちの方法が既存の最先端の方法よりも優れていることが示されています。
コードは https://github.com/iijjlk/DFFN で入手できます。

要約(オリジナル)

Low-light remote sensing images generally feature high resolution and high spatial complexity, with continuously distributed surface features in space. This continuity in scenes leads to extensive long-range correlations in spatial domains within remote sensing images. Convolutional Neural Networks, which rely on local correlations for long-distance modeling, struggle to establish long-range correlations in such images. On the other hand, transformer-based methods that focus on global information face high computational complexities when processing high-resolution remote sensing images. From another perspective, Fourier transform can compute global information without introducing a large number of parameters, enabling the network to more efficiently capture the overall image structure and establish long-range correlations. Therefore, we propose a Dual-Domain Feature Fusion Network (DFFN) for low-light remote sensing image enhancement. Specifically, this challenging task of low-light enhancement is divided into two more manageable sub-tasks: the first phase learns amplitude information to restore image brightness, and the second phase learns phase information to refine details. To facilitate information exchange between the two phases, we designed an information fusion affine block that combines data from different phases and scales. Additionally, we have constructed two dark light remote sensing datasets to address the current lack of datasets in dark light remote sensing image enhancement. Extensive evaluations show that our method outperforms existing state-of-the-art methods. The code is available at https://github.com/iijjlk/DFFN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google