Likelihood-Free Variational Autoencoders

要約

バリエーション自動エンコーダー（VAE）は通常、定義された尤度、最も一般的には等方性ガウスである確率的デコーダーに依存して、潜在変数を条件とするデータをモデル化します。
最適化に便利ですが、この選択により、特に画像などの高次元データの場合、ぼやけの再構築とデータの忠実度が低下することがよくあります。
この作業では、決定論的デコーダーを備えた新しい尤度のない生成フレームワークであり、再構成損失を構築するためにエネルギースコア（適切なスコアリングルール）を使用する\ textit {envae}を提案します。
これにより、明示的なパラメトリック密度関数を必要とせずに、尤度のない推論が可能になります。
エネルギースコアの計算非効率性に対処するために、デコーダーの局所的な滑らかさと潜在変数の後部分布のシャープネスに基づいて、高速バリアント\ textit {fenvae}を導入します。
これにより、既存のVAEパイプラインにシームレスに統合する効率的なシングルサンプルトレーニング目標が得られ、最小限のオーバーヘッドになります。
標準ベンチマークの経験的結果は、\ textit {envae}が尤度ベースのベースラインと比較して優れた再構築と生成の品質を達成することを示しています。
私たちのフレームワークは、生成モデリングにおける柔軟性およびノンパラメトリック分布学習のための一般的でスケーラブルで統計的に原則的な代替品を提供します。

要約(オリジナル)

Variational Autoencoders (VAEs) typically rely on a probabilistic decoder with a predefined likelihood, most commonly an isotropic Gaussian, to model the data conditional on latent variables. While convenient for optimization, this choice often leads to likelihood misspecification, resulting in blurry reconstructions and poor data fidelity, especially for high-dimensional data such as images. In this work, we propose \textit{EnVAE}, a novel likelihood-free generative framework that has a deterministic decoder and employs the energy score — a proper scoring rule — to build the reconstruction loss. This enables likelihood-free inference without requiring explicit parametric density functions. To address the computational inefficiency of the energy score, we introduce a fast variant, \textit{FEnVAE}, based on the local smoothness of the decoder and the sharpness of the posterior distribution of latent variables. This yields an efficient single-sample training objective that integrates seamlessly into existing VAE pipelines with minimal overhead. Empirical results on standard benchmarks demonstrate that \textit{EnVAE} achieves superior reconstruction and generation quality compared to likelihood-based baselines. Our framework offers a general, scalable, and statistically principled alternative for flexible and nonparametric distribution learning in generative modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google