Deep Semantic Statistics Matching (D2SM) Denoising Network

要約

ノイズ除去のような画像復元の最終的な目的は、ノイズの多い画像ドメインと鮮明な画像ドメインの間の正確な相関関係を見つけることです。
ただし、ピクセル単位の損失などのエンドツーエンドのノイズ除去学習の最適化は、サンプル間の方法で実行されます。これは、画像、特にセマンティクスの固有の相関関係を無視します。
この論文では、ディープセマンティック統計マッチング（D2SM）ノイズ除去ネットワークを紹介します。
事前にトレーニングされた分類ネットワークのセマンティック機能を活用し、セマンティック機能空間での鮮明な画像の確率分布と暗黙的に一致します。
ノイズ除去された画像のセマンティック分布を維持することを学習することにより、経験的に、この方法がネットワークのノイズ除去機能を大幅に改善し、ノイズ除去された結果を高レベルのビジョンタスクでよりよく理解できることがわかります。
ノイズの多いCityscapesデータセットで実施された包括的な実験は、ノイズ除去のパフォーマンスとセマンティックセグメンテーションの精度の両方で私たちの方法が優れていることを示しています。
さらに、超解像実験や曇り除去実験などの拡張タスクで観察されたパフォーマンスの向上は、新しい一般的なプラグアンドプレイコンポーネントとしての可能性を示しています。

要約(オリジナル)

The ultimate aim of image restoration like denoising is to find an exact correlation between the noisy and clear image domains. But the optimization of end-to-end denoising learning like pixel-wise losses is performed in a sample-to-sample manner, which ignores the intrinsic correlation of images, especially semantics. In this paper, we introduce the Deep Semantic Statistics Matching (D2SM) Denoising Network. It exploits semantic features of pretrained classification networks, then it implicitly matches the probabilistic distribution of clear images at the semantic feature space. By learning to preserve the semantic distribution of denoised images, we empirically find our method significantly improves the denoising capabilities of networks, and the denoised results can be better understood by high-level vision tasks. Comprehensive experiments conducted on the noisy Cityscapes dataset demonstrate the superiority of our method on both the denoising performance and semantic segmentation accuracy. Moreover, the performance improvement observed on our extended tasks including super-resolution and dehazing experiments shows its potentiality as a new general plug-and-play component.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google