DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration

要約

盲目の顔の復元では、通常、トレーニング用に事前定義された劣化モデルを使用して劣化した低品質のデータを合成しますが、現実の世界ではより複雑なケースが発生する可能性があります。
想定される劣化と実際の劣化との間のこのギャップは、出力でアーティファクトがしばしば観察される復元パフォーマンスを損ないます。
ただし、トレーニング データで実際のケースをカバーするためにすべてのタイプの劣化を含めることは、費用がかかり、実行不可能です。
このロバスト性の問題に取り組むために、拡散ベースのロバスト劣化リムーバー (DR2) を提案して、まず劣化した画像を粗いが劣化不変の予測に変換し、次に拡張モジュールを使用して粗い予測を高品質の画像に復元します。
高性能のノイズ除去拡散確率モデルを活用することで、DR2 は入力画像をノイズの多い状態に拡散し、さまざまなタイプの劣化がガウス ノイズに取って代わられ、反復的なノイズ除去ステップを通じてセマンティック情報を取得します。
その結果、DR2 は一般的な劣化 (ぼかし、サイズ変更、ノイズ、圧縮など) に対して堅牢であり、拡張モジュールのさまざまな設計と互換性があります。
さまざまな設定での実験は、私たちのフレームワークが、著しく劣化した合成および現実世界のデータセットに対する最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Blind face restoration usually synthesizes degraded low-quality data with a pre-defined degradation model for training, while more complex cases could happen in the real world. This gap between the assumed and actual degradation hurts the restoration performance where artifacts are often observed in the output. However, it is expensive and infeasible to include every type of degradation to cover real-world cases in the training data. To tackle this robustness issue, we propose Diffusion-based Robust Degradation Remover (DR2) to first transform the degraded image to a coarse but degradation-invariant prediction, then employ an enhancement module to restore the coarse prediction to a high-quality image. By leveraging a well-performing denoising diffusion probabilistic model, our DR2 diffuses input images to a noisy status where various types of degradation give way to Gaussian noise, and then captures semantic information through iterative denoising steps. As a result, DR2 is robust against common degradation (e.g. blur, resize, noise and compression) and compatible with different designs of enhancement modules. Experiments in various settings show that our framework outperforms state-of-the-art methods on heavily degraded synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google