RSFDM-Net: Real-time Spatial and Frequency Domains Modulation Network for Underwater Image Enhancement

要約

水中の画像は通常、浮遊粒子による光の吸収と散乱によって引き起こされる明るさと構造の混合劣化を経験します。
この問題に対処するために、水中画像の色と詳細を効率的に強調するためのリアルタイム空間および周波数領域変調ネットワーク (RSFDM-Net) を提案します。
具体的には、提案された条件付きネットワークは、適応フーリエ ゲーティング メカニズム (AFGM) とマルチスケール畳み込み注意モジュール (MCAM) を使用して設計され、低周波の背景情報と高周波の詳細機能を運ぶベクトルを生成します。これにより、ネットワークがグローバルな背景情報をモデル化することが効果的に促進されます。
ローカル テクスチャの詳細。
画像の色かぶりと低い彩度をより正確に修正するために、プライマリ ネットに 3 分岐特徴抽出 (TFE) ブロックを導入し、画像をピクセルごとに処理して、同じチャネル (R、G) によって拡張された色情報を統合します。
、または B)。
このブロックは 3 つの小さなブランチで構成され、それぞれに独自の重みがあります。
大規模な実験により、私たちのネットワークが視覚的品質と定量的指標の両方で最先端の方法よりも大幅に優れていることが示されています。

要約(オリジナル)

Underwater images typically experience mixed degradations of brightness and structure caused by the absorption and scattering of light by suspended particles. To address this issue, we propose a Real-time Spatial and Frequency Domains Modulation Network (RSFDM-Net) for the efficient enhancement of colors and details in underwater images. Specifically, our proposed conditional network is designed with Adaptive Fourier Gating Mechanism (AFGM) and Multiscale Convolutional Attention Module (MCAM) to generate vectors carrying low-frequency background information and high-frequency detail features, which effectively promote the network to model global background information and local texture details. To more precisely correct the color cast and low saturation of the image, we introduce a Three-branch Feature Extraction (TFE) block in the primary net that processes images pixel by pixel to integrate the color information extended by the same channel (R, G, or B). This block consists of three small branches, each of which has its own weights. Extensive experiments demonstrate that our network significantly outperforms over state-of-the-art methods in both visual quality and quantitative metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google