Diverse super-resolution with pretrained deep hiererarchical VAEs

要約

私たちは、画像の超解像問題に対する多様な解決策を生み出す問題を調査します。
確率論的な観点から見ると、これは逆問題の事後分布からサンプリングすることで実現できますが、これには高解像度画像上の事前分布の定義が必要です。
この研究では、事前トレーニングされた階層変分オートエンコーダー (HVAE) を事前学習として使用することを提案します。
軽量の確率的エンコーダーをトレーニングして、事前トレーニングされた HVAE の潜在空間で低解像度画像をエンコードします。
推論では、低解像度エンコーダーと事前トレーニングされた生成モデルを組み合わせて、画像を超解像します。
我々は、顔超解像のタスクに関して、我々の方法が条件付き正規化フロー技術の計算効率と拡散ベースの方法のサンプル品質との間に有利なトレードオフを提供することを実証する。

要約(オリジナル)

We investigate the problem of producing diverse solutions to an image super-resolution problem. From a probabilistic perspective, this can be done by sampling from the posterior distribution of an inverse problem, which requires the definition of a prior distribution on the high-resolution images. In this work, we propose to use a pretrained hierarchical variational autoencoder (HVAE) as a prior. We train a lightweight stochastic encoder to encode low-resolution images in the latent space of a pretrained HVAE. At inference, we combine the low-resolution encoder and the pretrained generative model to super-resolve an image. We demonstrate on the task of face super-resolution that our method provides an advantageous trade-off between the computational efficiency of conditional normalizing flows techniques and the sample quality of diffusion based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google