Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models

要約

タイトル：深層生成モデルによる正則化された逆問題のための微分可能なガウス化レイヤー
要約：
– 深層生成モデル(例えばGAN、正規化フロー、拡散モデル)は、逆問題に対して強力な正則化を提供する。彼らは、不良設定の低減や高品質な結果の達成を助けるという、大きな潜在能力を示している。
– しかしながら、特にデータのノイズや不正確な順方向モデルが存在する場合に、このような深層生成モデルの潜在テンソルは望ましい高次元標準ガウス分布から外れることがあり、低い忠実度の解決策につながる。
– この問題に対処するために、我々は、最適化問題を解決することでカスタムオペレータを定義し、新しい微分可能なデータ依存レイヤーを用いて潜在テンソルを再パラメータ化し、ガウス化することを提案する。
– これらの提案されたレイヤーにより、逆問題は高(忠実度)分布ソリューションを取得するために制約を受ける。
– 我々は、StyleGAN2とGlowという2つの代表的な深層生成モデルを使用して、3つの逆問題(圧縮センシングMRI、画像のぼやけ除去、非線形PDE制約逆問題である等時間測定法)で我々の手法を検証した。我々の手法は、正確さと一貫性の観点で最先端の性能を発揮している。

要約(オリジナル)

Deep generative models such as GANs, normalizing flows, and diffusion models are powerful regularizers for inverse problems. They exhibit great potential for helping reduce ill-posedness and attain high-quality results. However, the latent tensors of such deep generative models can fall out of the desired high-dimensional standard Gaussian distribution during inversion, particularly in the presence of data noise and inaccurate forward models, leading to low-fidelity solutions. To address this issue, we propose to reparameterize and Gaussianize the latent tensors using novel differentiable data-dependent layers wherein custom operators are defined by solving optimization problems. These proposed layers constrain inverse problems to obtain high-fidelity in-distribution solutions. We validate our technique on three inversion tasks: compressive-sensing MRI, image deblurring, and eikonal tomography (a nonlinear PDE-constrained inverse problem) using two representative deep generative models: StyleGAN2 and Glow. Our approach achieves state-of-the-art performance in terms of accuracy and consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI