Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion Models

要約

変分オートエンコーダ (VAE) は表現学習用の人気のあるモデルですが、そのエンコーダは真の (連続的な) データ分布ではなく有限のトレーニング セットでトレーニングされるため、過学習の影響を受けやすくなります (Cremer et al., 2018)。
データ}}(\mathbf{x})$.
一方、拡散モデルでは、エンコーダーを固定しておくことでこの問題を回避します。
これにより、表現の解釈が難しくなりますが、トレーニングが簡素化され、$p_{\mathrm{data}}(\mathbf{x})$ の正確かつ連続的な近似が可能になります。
この論文では、事前にトレーニングされた拡散モデルからのサンプルをトレーニングすることによって、VAE のエンコーダーのオーバーフィッティングを効果的に軽減できることを示します。
最近の発見 (Alemohammad et al., 2023; Shumailov et al., 2023) では、別の生成モデルによって生成されたデータでモデルをトレーニングすると生成パフォーマンスが低下することが観察されているため、これらの結果はやや予想外です。
3 つの異なるデータセットで提案された方法でトレーニングされた VAE の汎化パフォーマンス、償却ギャップ、およびロバスト性を分析します。
通常のトレーニング方法と従来のデータ拡張方法の両方と比較して、すべての指標で改善が見られ、拡散モデルからの適度な量のサンプルでこれらの改善を得るのに十分であることがわかります。

要約(オリジナル)

Variational autoencoders (VAEs) are popular models for representation learning but their encoders are susceptible to overfitting (Cremer et al., 2018) because they are trained on a finite training set instead of the true (continuous) data distribution $p_{\mathrm{data}}(\mathbf{x})$. Diffusion models, on the other hand, avoid this issue by keeping the encoder fixed. This makes their representations less interpretable, but it simplifies training, enabling accurate and continuous approximations of $p_{\mathrm{data}}(\mathbf{x})$. In this paper, we show that overfitting encoders in VAEs can be effectively mitigated by training on samples from a pre-trained diffusion model. These results are somewhat unexpected as recent findings (Alemohammad et al., 2023; Shumailov et al., 2023) observe a decay in generative performance when models are trained on data generated by another generative model. We analyze generalization performance, amortization gap, and robustness of VAEs trained with our proposed method on three different data sets. We find improvements in all metrics compared to both normal training and conventional data augmentation methods, and we show that a modest amount of samples from the diffusion model suffices to obtain these gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google