NFResNet: Multi-scale and U-shaped Networks for Deblurring

要約

マルチスケールおよび U 字型ネットワークは、ぼけ除去などのさまざまな画像復元問題で広く使用されています。
幅広い用途を念頭に置いて、これらのアーキテクチャの比較と、画像のブレ除去に対するそれらの効果を紹介します。
また、NFResblock と呼ばれる新しいブロックも導入します。
これは、高速フーリエ変換レイヤーと一連の修正された非線形活性化フリー ブロックで構成されます。
これらのアーキテクチャと追加に基づいて、それぞれマルチスケール アーキテクチャと U-Net アーキテクチャを修正した NFResnet と NFResnet+ を紹介します。
また、これらのアーキテクチャをトレーニングするために、シャルボニエ損失、エッジ損失、周波数再構成損失という 3 つの異なる損失関数も使用します。
この論文では、Deep Video Deblurring データセットに関する広範な実験と、各コンポーネントのアブレーション研究が紹介されています。
提案されたアーキテクチャは、ピーク信号対雑音比 (PSNR) と構造類似性指数 (SSIM) 値の大幅な増加を達成します。

要約(オリジナル)

Multi-Scale and U-shaped Networks are widely used in various image restoration problems, including deblurring. Keeping in mind the wide range of applications, we present a comparison of these architectures and their effects on image deblurring. We also introduce a new block called as NFResblock. It consists of a Fast Fourier Transformation layer and a series of modified Non-Linear Activation Free Blocks. Based on these architectures and additions, we introduce NFResnet and NFResnet+, which are modified multi-scale and U-Net architectures, respectively. We also use three different loss functions to train these architectures: Charbonnier Loss, Edge Loss, and Frequency Reconstruction Loss. Extensive experiments on the Deep Video Deblurring dataset, along with ablation studies for each component, have been presented in this paper. The proposed architectures achieve a considerable increase in Peak Signal to Noise (PSNR) ratio and Structural Similarity Index (SSIM) value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google