Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights

要約

変分オートエンコーダ (VAE) は、深層生成モデルの分野における先駆者です。
その多数の子孫の中でも、Wasserstein Autoencoders (WAE) は、高い生成品質と強力な理論的バックボーンという 2 つの機能を備えているため、特に際立っています。
WAE は、ボトルネックを形成するエンコーディングおよびデコーディング ネットワークで構成されており、その主な目的は、対応するサンプルに似た新しいサンプルを生成することです。
その過程で、彼らはエンコードされたデータの目標の潜在表現を達成することを目指します。
私たちの研究は、WAE の背後にある機構を理論的に理解することを目的としています。
統計的な観点から、ニューラル ネットワークによる変換に基づく同時密度推定タスクとして問題を提起します。
これにより、WAE がコミットした実際のエラーについて決定的な上限を確立できます。
また、敵対者の存在下でのこれらの確率的エラーの伝播も分析します。
その結果、再構成された分布の大規模サンプルの特性と WAE モデルの回復力の両方が調査されます。

要約(オリジナル)

Variational Autoencoders (VAEs) have been a pioneering force in the realm of deep generative models. Amongst its legions of progenies, Wasserstein Autoencoders (WAEs) stand out in particular due to the dual offering of heightened generative quality and a strong theoretical backbone. WAEs consist of an encoding and a decoding network forming a bottleneck with the prime objective of generating new samples resembling the ones it was catered to. In the process, they aim to achieve a target latent representation of the encoded data. Our work is an attempt to offer a theoretical understanding of the machinery behind WAEs. From a statistical viewpoint, we pose the problem as concurrent density estimation tasks based on neural network-induced transformations. This allows us to establish deterministic upper bounds on the realized errors WAEs commit. We also analyze the propagation of these stochastic errors in the presence of adversaries. As a result, both the large sample properties of the reconstructed distribution and the resilience of WAE models are explored.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google