UniCoRN: Latent Diffusion-based Unified Controllable Image Restoration Network across Multiple Degradations

要約

画像の復元は、コンピュータービジョンタスク全体で劣化した画像を強化するために不可欠です。
ただし、ほとんどの既存の方法は、一度に単一のタイプの劣化（ぼやけ、ノイズ、ヘイズなど）のみに対処し、複数の分解が同時に発生することが多い現実世界の適用性を制限します。
この論文では、マルチヘッド拡散モデルを使用して複数の分解タイプを同時に処理できる統一された画像修復アプローチであるUnicornを提案します。
具体的には、現実世界の画像修復のための制御可能な拡散モデルをガイドする際に画像から抽出された低レベルの視覚キューの可能性を明らかにし、専門家の混合戦略を介して適応可能なマルチヘッド制御ネットワークを設計します。
スマートに設計されたカリキュラム学習レシピを通じて、特定の劣化を事前の仮定せずにモデルを訓練します。
さらに、複数の分解とアーティファクトを備えた画像を含むMetalensイメージングベンチマークであるMetarestoreも紹介します。
当社のベンチマークを含むいくつかの挑戦的なデータセットに関する広範な評価は、この方法が大幅なパフォーマンスの向上を達成し、深刻な劣化で画像を堅牢に回復できることを示しています。
プロジェクトページ：https：//codejaeger.github.io/unicorn-gh

要約(オリジナル)

Image restoration is essential for enhancing degraded images across computer vision tasks. However, most existing methods address only a single type of degradation (e.g., blur, noise, or haze) at a time, limiting their real-world applicability where multiple degradations often occur simultaneously. In this paper, we propose UniCoRN, a unified image restoration approach capable of handling multiple degradation types simultaneously using a multi-head diffusion model. Specifically, we uncover the potential of low-level visual cues extracted from images in guiding a controllable diffusion model for real-world image restoration and we design a multi-head control network adaptable via a mixture-of-experts strategy. We train our model without any prior assumption of specific degradations, through a smartly designed curriculum learning recipe. Additionally, we also introduce MetaRestore, a metalens imaging benchmark containing images with multiple degradations and artifacts. Extensive evaluations on several challenging datasets, including our benchmark, demonstrate that our method achieves significant performance gains and can robustly restore images with severe degradations. Project page: https://codejaeger.github.io/unicorn-gh

arxiv情報

提供元, 利用サービス

arxiv.jp, Google