Exploring the solution space of linear inverse problems with GAN latent geometry

要約

逆問題は不完全な測定値から信号を再構成する問題であり、その性能は正則化によって符号化された事前知識の質に大きく依存する。従来のアプローチは一意的な解を得ることに重点を置いていたが、新たな傾向として、実現可能な複数の解を探索することが考えられている。本論文では、測定値と生成的敵対関係ネットワークによって学習されたデータ駆動型事前知識の両方に適合する複数の再構成を生成する方法を提案する。特に、初期解から出発して、順方向演算子に対して無効な生成モデルの潜在空間における方向を見つけることが可能であることを示し、その結果、大きな知覚変化を引き起こしながら、測定値との整合性を維持することができる。我々の探索手法は、既存の手法よりも一桁速く逆問題に対する複数の解を生成することが可能である。

要約(オリジナル)

Inverse problems consist in reconstructing signals from incomplete sets of measurements and their performance is highly dependent on the quality of the prior knowledge encoded via regularization. While traditional approaches focus on obtaining a unique solution, an emerging trend considers exploring multiple feasibile solutions. In this paper, we propose a method to generate multiple reconstructions that fit both the measurements and a data-driven prior learned by a generative adversarial network. In particular, we show that, starting from an initial solution, it is possible to find directions in the latent space of the generative model that are null to the forward operator, and thus keep consistency with the measurements, while inducing significant perceptual change. Our exploration approach allows to generate multiple solutions to the inverse problem an order of magnitude faster than existing approaches; we show results on image super-resolution and inpainting problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL