Unscented Autoencoder

要約

変分オートエンコーダー (VAE) は、潜在変数を使用した深い生成モデリングにおける独創的なアプローチです。
その再構成プロセスを潜在事後分布からのサンプルの非線形変換として解釈し、フィルタリングの分野のアンセンテッド カルマン フィルター (UKF) で使用されるよく知られた分布近似であるアンセンテッド変換 (UT) を適用します。
決定論的にサンプリングされたシグマ ポイントと呼ばれる有限の統計セットは、再パラメータ化トリックのユビキタスなノイズ スケーリングよりも有益で分散の低い事後表現を提供すると同時に、高品質の再構成を保証します。
カルバック・ライブラー (KL) 発散を、より鮮明な事後分布を可能にするワッサーシュタイン分布メトリックに置き換えることで、パフォーマンスをさらに向上させます。
2 つのコンポーネントからインスピレーションを得て、VAE である Unscented Autoencoder (UAE) の新しい決定論的サンプリング フレーバーを導き出し、サンプルごとの事後関数の正則化のような項で純粋にトレーニングされました。
私たちは、VAE よりも低いトレーニング分散に加えて、密接に関連したモデルと比較して、Fr\’echet Inception Distance (FID) スコアで競争力のあるパフォーマンスを経験的に示しています。

要約(オリジナル)

The Variational Autoencoder (VAE) is a seminal approach in deep generative modeling with latent variables. Interpreting its reconstruction process as a nonlinear transformation of samples from the latent posterior distribution, we apply the Unscented Transform (UT) — a well-known distribution approximation used in the Unscented Kalman Filter (UKF) from the field of filtering. A finite set of statistics called sigma points, sampled deterministically, provides a more informative and lower-variance posterior representation than the ubiquitous noise-scaling of the reparameterization trick, while ensuring higher-quality reconstruction. We further boost the performance by replacing the Kullback-Leibler (KL) divergence with the Wasserstein distribution metric that allows for a sharper posterior. Inspired by the two components, we derive a novel, deterministic-sampling flavor of the VAE, the Unscented Autoencoder (UAE), trained purely with regularization-like terms on the per-sample posterior. We empirically show competitive performance in Fr\’echet Inception Distance (FID) scores over closely-related models, in addition to a lower training variance than the VAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google