Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models

要約

GANや正規化フローなどの深い生成モデルは強力な事前確率です。
逆問題を正則化して、不適切な姿勢を減らし、高品質の結果を得ることができます。
ただし、このような深い生成モデルの潜在ベクトルは、特にデータ内のノイズや不正確なフォワードモデルが存在する場合、反転中に目的の高次元の標準ガウス分布から外れる可能性があります。
このような場合、深層生成モデルは忠実度の高いソリューションを実現するには効果がありません。
この問題に対処するために、最適化問題を解くことによってカスタム演算子が定義される、新しい微分可能なデータ依存層を使用して潜在ベクトルを再パラメーター化およびガウス化することを提案します。
これらの提案されたレイヤーは、実行可能な配布内ソリューションを見つけるために反転を制約します。
2つの代表的な深層生成モデルであるStyleGAN2とGlowを使用して、圧縮センシングMRI、画像ぼけ除去、アイコナールトモグラフィー（非線形偏微分方程式制約付き逆問題）の3つの反転タスクで手法をテストおよび検証し、最新の状態を実現しました。
-アートの結果。

要約(オリジナル)

Deep generative models such as GANs and normalizing flows are powerful priors. They can regularize inverse problems to reduce ill-posedness and attain high-quality results. However, the latent vector of such deep generative models can fall out of the desired high-dimensional standard Gaussian distribution during an inversion, particularly in the presence of noise in data or inaccurate forward models. In such a case, deep generative models are ineffective in attaining high-fidelity solutions. To address this issue, we propose to reparameterize and Gaussianize the latent vector using novel differentiable data-dependent layers wherein custom operators are defined by solving optimization problems. These proposed layers constrain an inversion to find feasible in-distribution solutions. We tested and validated our technique on three inversion tasks: compressive-sensing MRI, image deblurring, and eikonal tomography (a nonlinear PDE-constrained inverse problem), using two representative deep generative models: StyleGAN2 and Glow, and achieved state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google