Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models

要約

悪天候下での画像復元は、さまざまなコンピューター ビジョン アプリケーションにとって大きな関心事となっています。
最近成功した方法は、ディープ ニューラル ネットワーク アーキテクチャ設計 (ビジョン トランスフォーマーなど) の現在の進歩に依存しています。
最先端の条件付き生成モデルで達成された最近の進歩に動機付けられて、ノイズ除去拡散確率モデルに基づく新しいパッチベースの画像復元アルゴリズムを提示します。
当社のパッチベースの拡散モデリング アプローチは、推論中に重複するパッチ全体で平滑化されたノイズ推定によるガイド付きノイズ除去プロセスを使用することで、サイズに依存しない画像の復元を可能にします。
画像除雪、雨除けとかすみ除去の組み合わせ、および雨滴除去について、ベンチマーク データセットでモデルを経験的に評価します。
気象固有の画像復元と複数の気象画像の復元の両方で最先端のパフォーマンスを達成するためのアプローチを示し、実際のテスト画像への強力な一般化を定性的に示します。

要約(オリジナル)

Image restoration under adverse weather conditions has been of significant interest for various computer vision applications. Recent successful methods rely on the current progress in deep neural network architectural designs (e.g., with vision transformers). Motivated by the recent progress achieved with state-of-the-art conditional generative models, we present a novel patch-based image restoration algorithm based on denoising diffusion probabilistic models. Our patch-based diffusion modeling approach enables size-agnostic image restoration by using a guided denoising process with smoothed noise estimates across overlapping patches during inference. We empirically evaluate our model on benchmark datasets for image desnowing, combined deraining and dehazing, and raindrop removal. We demonstrate our approach to achieve state-of-the-art performances on both weather-specific and multi-weather image restoration, and qualitatively show strong generalization to real-world test images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google