A Regularized Conditional GAN for Posterior Sampling in Image Recovery Problems

要約

画像回復の問題では、歪んだ、不完全な、および/またはノイズで破損した測定値から画像を推測しようとします。
このような問題は、磁気共鳴画像法 (MRI)、コンピューター断層撮影、ぼけ除去、超解像、修復、位相回復、画像間の変換、およびその他のアプリケーションで発生します。
信号と測定値のペアのトレーニング セットが与えられた場合、私たちは単に 1 つの適切な画像推定値を生成する以上のことをしようとします。
むしろ、事後分布から迅速かつ正確にサンプリングすることを目指しています。
これを行うために、1 秒あたり数十の高品質事後サンプルを生成する、正規化された条件付き Wasserstein GAN を提案します。
私たちの正則化は、$\ell_1$ ペナルティと、適応的に重み付けされた標準偏差報酬で構成されます。
条件付きフレチェット開始距離などの定量的評価指標を使用して、私たちの方法がマルチコイル MRI と大規模修復アプリケーションの両方で最先端の後部サンプルを生成することを実証します。
私たちのモデルのコードはここにあります: https://github.com/matt-bendel/rcGAN

要約(オリジナル)

In image recovery problems, one seeks to infer an image from distorted, incomplete, and/or noise-corrupted measurements. Such problems arise in magnetic resonance imaging (MRI), computed tomography, deblurring, super-resolution, inpainting, phase retrieval, image-to-image translation, and other applications. Given a training set of signal/measurement pairs, we seek to do more than just produce one good image estimate. Rather, we aim to rapidly and accurately sample from the posterior distribution. To do this, we propose a regularized conditional Wasserstein GAN that generates dozens of high-quality posterior samples per second. Our regularization comprises an $\ell_1$ penalty and an adaptively weighted standard-deviation reward. Using quantitative evaluation metrics like conditional Fr\'{e}chet inception distance, we demonstrate that our method produces state-of-the-art posterior samples in both multicoil MRI and large-scale inpainting applications. The code for our model can be found here: https://github.com/matt-bendel/rcGAN

arxiv情報

提供元, 利用サービス

arxiv.jp, Google