Structured Uncertainty in the Observation Space of Variational Autoencoders

要約

変分オートエンコーダー (VAE) は、多くのバリアントと幅広いアプリケーションを備えた、深層生成モデルの人気のあるクラスです。
標準 VAE の改善は、主に、潜在空間にわたる事後分布のモデル化とニューラル ネットワーク デコーダーの特性に焦点を当てています。
対照的に、観測分布のモデルを改善することはめったに考慮されず、通常はデフォルトでピクセル単位の独立したカテゴリ分布または正規分布になります。
画像合成では、このような分布からのサンプリングは、無相関のピクセル ノイズを伴う空間的に一貫性のない結果を生成するため、出力予測としてはサンプル平均のみが多少有用になります。
この論文では、観測分布からサンプルを改善することにより、VAE理論に忠実であり続けることを目指しています。
観測空間の代替モデルであるSOS-VAEを提案し、低ランクのパラメーター化を介して空間依存性をエンコードします。
この新しい観測分布には、ピクセル間の関連する共分散をキャプチャする機能があり、空間的にコヒーレントなサンプルが得られることを示しています。
ピクセル単位の独立した分布とは対照的に、サンプルには意味的に意味のある平均からの変動が含まれているようで、単一のフォワードパスで複数のもっともらしい出力を予測できます。

要約(オリジナル)

Variational autoencoders (VAEs) are a popular class of deep generative models with many variants and a wide range of applications. Improvements upon the standard VAE mostly focus on the modelling of the posterior distribution over the latent space and the properties of the neural network decoder. In contrast, improving the model for the observational distribution is rarely considered and typically defaults to a pixel-wise independent categorical or normal distribution. In image synthesis, sampling from such distributions produces spatially-incoherent results with uncorrelated pixel noise, resulting in only the sample mean being somewhat useful as an output prediction. In this paper, we aim to stay true to VAE theory by improving the samples from the observational distribution. We propose SOS-VAE, an alternative model for the observation space, encoding spatial dependencies via a low-rank parameterisation. We demonstrate that this new observational distribution has the ability to capture relevant covariance between pixels, resulting in spatially-coherent samples. In contrast to pixel-wise independent distributions, our samples seem to contain semantically-meaningful variations from the mean allowing the prediction of multiple plausible outputs with a single forward pass.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google