I2V: Towards Texture-Aware Self-Supervised Blind Denoising using Self-Residual Learning for Real-World Images

要約

自己教師ありブラインド ノイズ除去の進歩は、合成ノイズ シナリオでクリーンな監視を行わない従来のアプローチよりも大幅に優れていますが、空間的に相関するノイズの破損により、現実世界の画像の品質が低下します。
最近、ノイズの空間相関を除去するために、ピクセル シャッフル ダウンサンプリング (PD) が提案されました。
ブラインド スポット ネットワーク (BSN) と非対称 PD (AP) を組み合わせた研究では、自己教師ありブラインド ノイズ除去が現実世界のノイズの多い画像に適用できることが実証されました。
ただし、ダウンサンプリングされた画像では高周波の詳細 (エッジなど) が破壊されるため、PD ベースの推論では、テスト フェーズでテクスチャの詳細が劣化する可能性があります。
このような問題を回避するために、テクスチャ情報を維持するために PD プロセスを使用しない自己残差学習を提案します。
また、全体的なパフォーマンスを向上させるために、次数バリアント PD 制約、ノイズ事前損失、および効率的な推論スキーム (漸進的ランダム置換改良 ($\text{PR}^3$)) を提案します。
広範な実験の結果は、提案された方法が、現実世界の sRGB 画像における PSNR、SSIM、LPIPS、および DISTS に関して、いくつかの教師あり学習方法を含む最先端の自己教師ありブラインドノイズ除去アプローチよりも優れていることを示しています。

要約(オリジナル)

Although the advances of self-supervised blind denoising are significantly superior to conventional approaches without clean supervision in synthetic noise scenarios, it shows poor quality in real-world images due to spatially correlated noise corruption. Recently, pixel-shuffle downsampling (PD) has been proposed to eliminate the spatial correlation of noise. A study combining a blind spot network (BSN) and asymmetric PD (AP) successfully demonstrated that self-supervised blind denoising is applicable to real-world noisy images. However, PD-based inference may degrade texture details in the testing phase because high-frequency details (e.g., edges) are destroyed in the downsampled images. To avoid such an issue, we propose self-residual learning without the PD process to maintain texture information. We also propose an order-variant PD constraint, noise prior loss, and an efficient inference scheme (progressive random-replacing refinement ($\text{PR}^3$)) to boost overall performance. The results of extensive experiments show that the proposed method outperforms state-of-the-art self-supervised blind denoising approaches, including several supervised learning methods, in terms of PSNR, SSIM, LPIPS, and DISTS in real-world sRGB images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google