Maximum Likelihood Training of Autoencoders

要約

最尤トレーニングには有利な統計的特性があり、生成モデリング、特にフローの正規化によく使用されます。
一方、生成オートエンコーダーは、多様体仮説により、フローを正規化するよりも効率的であることが期待されています。
この研究では、制約なしオートエンコーダーの最尤トレーニングの成功を初めて導入し、2 つのパラダイムを統合します。
そのために、私たちは 2 つの課題を特定し、克服します。まず、自由形式ネットワークの既存の最尤推定器は容認できないほど遅く、コストが潜在次元に線形に比例する反復スキームに依存しています。
反復を排除し、コストが一定になります (バニラ オートエンコーダのバッチあたりの実行時間は約 2 倍) 改良された推定器を導入します。
次に、オートエンコーダに最尤法を単純に適用すると発散解が得られることを実証し、この洞察を利用して安定した最尤トレーニング目標を動機付けます。
私たちはおもちゃ、表形式、画像データに対して広範な実験を行い、結果として得られるモデルの競争力のあるパフォーマンスを実証します。
私たちはこのモデルを最尤オートエンコーダー (MLAE) と呼んでいます。

要約(オリジナル)

Maximum likelihood training has favorable statistical properties and is popular for generative modeling, especially with normalizing flows. On the other hand, generative autoencoders promise to be more efficient than normalizing flows due to the manifold hypothesis. In this work, we introduce successful maximum likelihood training of unconstrained autoencoders for the first time, bringing the two paradigms together. To do so, we identify and overcome two challenges: Firstly, existing maximum likelihood estimators for free-form networks are unacceptably slow, relying on iteration schemes whose cost scales linearly with latent dimension. We introduce an improved estimator which eliminates iteration, resulting in constant cost (roughly double the runtime per batch of a vanilla autoencoder). Secondly, we demonstrate that naively applying maximum likelihood to autoencoders can lead to divergent solutions and use this insight to motivate a stable maximum likelihood training objective. We perform extensive experiments on toy, tabular and image data, demonstrating the competitive performance of the resulting model. We call our model the maximum likelihood autoencoder (MLAE).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google