NFResNet: Multi-scale and U-shaped Networks for Deblurring

要約

マルチスケールおよび U 字型ネットワークは、ブレ除去を含むさまざまな画像復元の問題で広く使用されています。
幅広いアプリケーションを念頭に置いて、これらのアーキテクチャと画像のブレ除去への影響を比較します。
NFResblock と呼ばれる新しいブロックも導入します。
これは、高速フーリエ変換レイヤーと一連の修正された非線形アクティベーション フリー ブロックで構成されます。
これらのアーキテクチャと追加に基づいて、それぞれ修正されたマルチスケールおよび U-Net アーキテクチャである NFResnet および NFResnet+ を紹介します。
また、これらのアーキテクチャをトレーニングするために、シャルボニエ損失、エッジ損失、および周波数再構成損失という 3 つの異なる損失関数も使用します。
Deep Video Deblurring データセットに関する広範な実験と、各コンポーネントのアブレーション研究が、この論文で紹介されています。
提案されたアーキテクチャは、ピーク信号対雑音 (PSNR) 比と構造類似性指標 (SSIM) 値の大幅な増加を達成します。

要約(オリジナル)

Multi-Scale and U-shaped Networks are widely used in various image restoration problems, including deblurring. Keeping in mind the wide range of applications, we present a comparison of these architectures and their effects on image deblurring. We also introduce a new block called as NFResblock. It consists of a Fast Fourier Transformation layer and a series of modified Non-Linear Activation Free Blocks. Based on these architectures and additions, we introduce NFResnet and NFResnet+, which are modified multi-scale and U-Net architectures, respectively. We also use three different loss functions to train these architectures: Charbonnier Loss, Edge Loss, and Frequency Reconstruction Loss. Extensive experiments on the Deep Video Deblurring dataset, along with ablation studies for each component, have been presented in this paper. The proposed architectures achieve a considerable increase in Peak Signal to Noise (PSNR) ratio and Structural Similarity Index (SSIM) value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google