A cross Transformer for image denoising

要約

ディープ畳み込みニューラル ネットワーク (CNN) は、画像ノイズ除去で優れたパフォーマンスを得るためにフィードフォワードとフィードバックの方法に依存します。
ただし、複雑なシーンでは、ノイズの多い画像を効率的に表現するために CNN を介して効果的な構造情報を取得する方法が重要です。
この論文では、複雑なシーンのクリーンな画像を取得するために、シリアル ブロック (SB)、並列ブロック (PB)、および残差ブロック (RB) を備えたクロス トランスフォーマー ノイズ除去 CNN (CTNet) を提案します。
SB は、強化された残差アーキテクチャを使用して、画像のノイズ除去のための構造情報を深く検索します。
重要な情報の損失を回避するために、PB は 3 つの異種ネットワークを使用してマルチレベル特徴の複数の相互作用を実装し、複雑なシーンに対する取得されたデノイザーの適応性を向上させるための追加情報を幅広く検索します。
また、ノイズ除去パフォーマンスを向上させるために、トランスフォーマー機構が SB と PB に組み込まれ、ピクセル関係の観点から効果的にノイズを除去するための相補的な顕著な特徴を抽出します。
最後に、RB を適用してきれいな画像を取得します。
実験では、実際の画像および合成画像のノイズ除去の点で、CTNet がいくつかの一般的なノイズ除去方法よりも優れていることが示されています。
携帯電話などのモバイルデジタルデバイスに適しています。
コードは https://github.com/hellloxiaotian/CTNet で入手できます。

要約(オリジナル)

Deep convolutional neural networks (CNNs) depend on feedforward and feedback ways to obtain good performance in image denoising. However, how to obtain effective structural information via CNNs to efficiently represent given noisy images is key for complex scenes. In this paper, we propose a cross Transformer denoising CNN (CTNet) with a serial block (SB), a parallel block (PB), and a residual block (RB) to obtain clean images for complex scenes. A SB uses an enhanced residual architecture to deeply search structural information for image denoising. To avoid loss of key information, PB uses three heterogeneous networks to implement multiple interactions of multi-level features to broadly search for extra information for improving the adaptability of an obtained denoiser for complex scenes. Also, to improve denoising performance, Transformer mechanisms are embedded into the SB and PB to extract complementary salient features for effectively removing noise in terms of pixel relations. Finally, a RB is applied to acquire clean images. Experiments illustrate that our CTNet is superior to some popular denoising methods in terms of real and synthetic image denoising. It is suitable to mobile digital devices, i.e., phones. Codes can be obtained at https://github.com/hellloxiaotian/CTNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google