Robust Deep Ensemble Method for Real-world Image Denoising

要約

近年、ディープラーニングを用いた画像ノイズ除去手法は、トレーニングセットと同じ分布を持つテストデータにおいて有望な性能を達成しており、合成または収集した実世界のトレーニングデータに基づく様々なノイズ除去モデルが学習されている。しかし、実世界のノイズの多い画像を扱う場合、そのノイズ除去性能はまだ限定的である。本論文では、実世界の画像ノイズ除去のためのシンプルかつ効果的なベイズ型ディープアンサンブル（BDE）法を提案する。この方法では、様々な学習データ設定で事前に学習させた複数の代表的なディープデノイザーを融合させ、頑健性を向上させることができる。BDEの基礎は、実世界の画像ノイズは信号依存性が高く、実世界のノイズ画像中の異種ノイズは異なるノイズ除去器によって別々に処理できることである。具体的には、よく訓練されたCBDNet、NBNet、HINet、Uformer、GMSNetをノイズ除去器プールとし、これらのノイズ除去器を融合するために画素単位の重み付けマップの予測にU-Netを採用する。画素単位の重み付けマップを学習する代わりに、重み付けマップと同様に重み付けの不確実性を予測するためにベイズ深層学習戦略を導入し、予測分散のモデル化により実環境のノイズ画像に対する頑健性を向上させる。広範な実験により、実世界のノイズは、高価なコストをかけて大きなノイズ除去器を学習する代わりに、既存のノイズ除去器を融合することによって、よりよく除去できることが示されている。DNDデータセットにおいて、我々のBDEは最新のノイズ除去手法に対して+0.28~dBのPSNR利得を達成しました。さらに、異なるガウスノイズレベルに基づく我々のBDEノイズ除去は、実環境のノイズ画像に適用した場合、最新のCBDNetを凌駕することに注目します。さらに、我々のBDEは他の画像復元タスクにも拡張可能であり、ベンチマークデータセットにおいて、画像デブラーリング、画像ディレーニング、単一画像超解像に対してそれぞれ+0.30dB, +0.18dB, +0.12dB PSNRゲインを達成した。

要約(オリジナル)

Recently, deep learning-based image denoising methods have achieved promising performance on test data with the same distribution as training set, where various denoising models based on synthetic or collected real-world training data have been learned. However, when handling real-world noisy images, the denoising performance is still limited. In this paper, we propose a simple yet effective Bayesian deep ensemble (BDE) method for real-world image denoising, where several representative deep denoisers pre-trained with various training data settings can be fused to improve robustness. The foundation of BDE is that real-world image noises are highly signal-dependent, and heterogeneous noises in a real-world noisy image can be separately handled by different denoisers. In particular, we take well-trained CBDNet, NBNet, HINet, Uformer and GMSNet into denoiser pool, and a U-Net is adopted to predict pixel-wise weighting maps to fuse these denoisers. Instead of solely learning pixel-wise weighting maps, Bayesian deep learning strategy is introduced to predict weighting uncertainty as well as weighting map, by which prediction variance can be modeled for improving robustness on real-world noisy images. Extensive experiments have shown that real-world noises can be better removed by fusing existing denoisers instead of training a big denoiser with expensive cost. On DND dataset, our BDE achieves +0.28~dB PSNR gain over the state-of-the-art denoising method. Moreover, we note that our BDE denoiser based on different Gaussian noise levels outperforms state-of-the-art CBDNet when applying to real-world noisy images. Furthermore, our BDE can be extended to other image restoration tasks, and achieves +0.30dB, +0.18dB and +0.12dB PSNR gains on benchmark datasets for image deblurring, image deraining and single image super-resolution, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL