Decoupling Degradation and Content Processing for Adverse Weather Image Restoration

要約

悪天候画像復元では、雨、霧、雪など、さまざまな種類の気象の影響を受けた画像から鮮明な画像を復元することを目指しています。
それぞれの気象タイプは、画像に独特の影響を与えるため、カスタマイズされた劣化除去アプローチが必要です。
逆に、基礎となる画像コンテンツが一貫したままであるため、コンテンツの再構築では均一なアプローチを採用できます。
以前の技術では、単一のネットワーク内で複数の気象タイプを処理できますが、これら 2 つのプロセス間の重要な区別が無視され、復元された画像の品質が制限されていました。
この研究では、DDCNet と呼ばれる新しい悪天候画像復元方法を導入しています。これは、チャネル統計に基づいて、劣化除去とコンテンツ再構築プロセスを特徴レベルで分離します。
具体的には、これら 2 つのプロセスの両方でフーリエ変換の独自の利点を活用します。(1) 劣化情報は主にフーリエ ドメインの振幅成分にあり、(2) フーリエ ドメインにはグローバル情報が含まれています。
前者は、チャネル依存の劣化除去操作を容易にし、ネットワークがさまざまな悪天候の種類に合わせて対応できるようにします。
後者は、フーリエのグローバル プロパティをチャネルに依存しないコンテンツ機能に統合することにより、一貫したグローバル コンテンツ再構築のためのネットワーク容量を強化します。
劣化マッピング損失関数を使用して、劣化除去プロセスをさらに強化します。
広範な実験により、当社の方法が複数の悪天候除去ベンチマークにおいて最先端のパフォーマンスを達成していることが実証されています。

要約(オリジナル)

Adverse weather image restoration strives to recover clear images from those affected by various weather types, such as rain, haze, and snow. Each weather type calls for a tailored degradation removal approach due to its unique impact on images. Conversely, content reconstruction can employ a uniform approach, as the underlying image content remains consistent. Although previous techniques can handle multiple weather types within a single network, they neglect the crucial distinction between these two processes, limiting the quality of restored images. This work introduces a novel adverse weather image restoration method, called DDCNet, which decouples the degradation removal and content reconstruction process at the feature level based on their channel statistics. Specifically, we exploit the unique advantages of the Fourier transform in both these two processes: (1) the degradation information is mainly located in the amplitude component of the Fourier domain, and (2) the Fourier domain contains global information. The former facilitates channel-dependent degradation removal operation, allowing the network to tailor responses to various adverse weather types; the latter, by integrating Fourier’s global properties into channel-independent content features, enhances network capacity for consistent global content reconstruction. We further augment the degradation removal process with a degradation mapping loss function. Extensive experiments demonstrate our method achieves state-of-the-art performance in multiple adverse weather removal benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google