Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems

要約

拡散モデルは、基礎となるデータ分布から強力な画像事前分布を学習し、それを使用して逆問題を解決できますが、トレーニング プロセスは計算コストが高く、大量のデータが必要です。
このようなボトルネックにより、既存の研究のほとんどは 3D 画像などの高次元および高解像度データの実現を妨げています。
本稿では、画像のパッチのみで拡散モデルを学習させることにより、画像全体に対して効率的なデータ事前学習を行う方法を提案する。
具体的には、PaDIS と呼ばれるパッチベースの位置認識拡散逆ソルバーを提案します。このソルバーでは、パッチのスコアとその位置エンコーディングを通じて画像全体のスコア関数を取得し、これを逆問題を解くための事前分布として利用します。
まず最初に、この拡散モデルが、位置エンコーディングによって画像全体を生成する機能を維持しながら、メモリ効率とデータ効率の向上を達成することを示します。
さらに、提案された PaDIS モデルは柔軟性が高く、さまざまな拡散逆ソルバー (DIS) と接続できます。
我々は、提案された PaDIS アプローチにより、パッチベースの事前分布のみが与えられた場合に、CT 再構成、ぼけ除去、超解像など、自然画像領域と医用画像領域の両方でさまざまな逆問題を解決できることを実証します。
特に、PaDIS は、トレーニング データが限られている場合に、画像全体の事前分布でトレーニングされた以前の DIS 手法よりも優れたパフォーマンスを示し、パッチベースの事前分布を学習することによる、提案されたアプローチのデータ効率を示しています。

要約(オリジナル)

Diffusion models can learn strong image priors from underlying data distribution and use them to solve inverse problems, but the training process is computationally expensive and requires lots of data. Such bottlenecks prevent most existing works from being feasible for high-dimensional and high-resolution data such as 3D images. This paper proposes a method to learn an efficient data prior for the entire image by training diffusion models only on patches of images. Specifically, we propose a patch-based position-aware diffusion inverse solver, called PaDIS, where we obtain the score function of the whole image through scores of patches and their positional encoding and utilize this as the prior for solving inverse problems. First of all, we show that this diffusion model achieves an improved memory efficiency and data efficiency while still maintaining the capability to generate entire images via positional encoding. Additionally, the proposed PaDIS model is highly flexible and can be plugged in with different diffusion inverse solvers (DIS). We demonstrate that the proposed PaDIS approach enables solving various inverse problems in both natural and medical image domains, including CT reconstruction, deblurring, and superresolution, given only patch-based priors. Notably, PaDIS outperforms previous DIS methods trained on entire image priors in the case of limited training data, demonstrating the data efficiency of our proposed approach by learning patch-based prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google