Ambient Diffusion Posterior Sampling: Solving Inverse Problems with Diffusion Models trained on Corrupted Data

要約

線形に破損したデータから学習した拡散モデルを使用して逆問題を解決するためのフレームワークを提供します。
私たちの手法であるアンビエント拡散事後サンプリング (A-DPS) は、あるタイプの破損 (画像修復など) で事前にトレーニングされた生成モデルを利用して、潜在的に異なる前方プロセス (画像のぼかしなど) からの測定値を条件とした事後サンプリングを実行します。
標準的な自然画像データセット (CelebA、FFHQ、および AFHQ) でアプローチの有効性をテストし、速度とパフォーマンスの両方で、A-DPS がいくつかの画像復元タスクでクリーン データでトレーニングされたモデルよりも優れたパフォーマンスを発揮できる場合があることを示します。
さらに、周囲拡散フレームワークを拡張して、さまざまな加速係数 (R=2、4、6、8) でのフーリエ サブサンプリングされたマルチコイル MRI 測定のみにアクセスして MRI モデルをトレーニングします。
高度にサブサンプリングされたデータでトレーニングされたモデルは、完全にサンプリングされたデータでトレーニングされたモデルよりも、高加速度領域での逆問題を解くための事前分布に優れていることが再び観察されました。
コードとトレーニングされた周囲拡散 MRI モデルをオープンソース化しています: https://github.com/utcsilab/ambient-diffusion-mri 。

要約(オリジナル)

We provide a framework for solving inverse problems with diffusion models learned from linearly corrupted data. Our method, Ambient Diffusion Posterior Sampling (A-DPS), leverages a generative model pre-trained on one type of corruption (e.g. image inpainting) to perform posterior sampling conditioned on measurements from a potentially different forward process (e.g. image blurring). We test the efficacy of our approach on standard natural image datasets (CelebA, FFHQ, and AFHQ) and we show that A-DPS can sometimes outperform models trained on clean data for several image restoration tasks in both speed and performance. We further extend the Ambient Diffusion framework to train MRI models with access only to Fourier subsampled multi-coil MRI measurements at various acceleration factors (R=2, 4, 6, 8). We again observe that models trained on highly subsampled data are better priors for solving inverse problems in the high acceleration regime than models trained on fully sampled data. We open-source our code and the trained Ambient Diffusion MRI models: https://github.com/utcsilab/ambient-diffusion-mri .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google