INDigo: An INN-Guided Probabilistic Diffusion Algorithm for Inverse Problems

要約

近年、逆問題に拡散モデルを用いることで、顕著な結果が得られることが示されている。しかし、これらのアプローチは劣化モデルの閉形式が必要であり、複雑な劣化に対応することができない。この限界を克服するために、我々は、一般的な逆問題に対して、反転型ニューラルネットワーク（INN）と拡散モデルを組み合わせた手法（INDigo）を提案する。具体的には、任意の劣化過程を模擬するためにINNの順方向過程を学習させ、逆方向を再構成過程として利用する。拡散サンプリング過程では、反復毎に中間結果とINN最適化結果との距離を最小化するデータ整合性ステップを追加で課し、INN最適化画像は、観察された劣化画像によって与えられる粗い情報と拡散プロセスによって生成される詳細情報とで構成される。INNの助けにより、我々のアルゴリズムは、劣化プロセスで失われた詳細を効果的に推定し、劣化モデルの閉形式を知っているという要件にもはや制限されることはない。実験により、我々のアルゴリズムは、定量的にも視覚的にも、最近の主要な手法と比較して競争力のある結果を得ることができることが実証された。さらに、本アルゴリズムは、より複雑な劣化モデルや実世界の低画質画像に対して良好な性能を発揮する。

要約(オリジナル)

Recently it has been shown that using diffusion models for inverse problems can lead to remarkable results. However, these approaches require a closed-form expression of the degradation model and can not support complex degradations. To overcome this limitation, we propose a method (INDigo) that combines invertible neural networks (INN) and diffusion models for general inverse problems. Specifically, we train the forward process of INN to simulate an arbitrary degradation process and use the inverse as a reconstruction process. During the diffusion sampling process, we impose an additional data-consistency step that minimizes the distance between the intermediate result and the INN-optimized result at every iteration, where the INN-optimized image is composed of the coarse information given by the observed degraded image and the details generated by the diffusion process. With the help of INN, our algorithm effectively estimates the details lost in the degradation process and is no longer limited by the requirement of knowing the closed-form expression of the degradation model. Experiments demonstrate that our algorithm obtains competitive results compared with recently leading methods both quantitatively and visually. Moreover, our algorithm performs well on more complex degradation models and real-world low-quality images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL