LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models

要約

潜在拡散モデル (LDM) の進歩により、高解像度画像生成は革命を起こしましたが、これらのシステムの中心となるオートエンコーダーの設計領域は依然として未調査のままです。
このペーパーでは、LDM 用の新しいオートエンコーダー設計である LiteVAE を紹介します。これは、2D 離散ウェーブレット変換を利用して、出力品質を犠牲にすることなく、標準の変分オートエンコーダー (VAE) よりもスケーラビリティと計算効率を強化します。
私たちは、LiteVAE のトレーニング方法とデコーダー アーキテクチャを調査し、トレーニング ダイナミクスと再構成の品質を向上させるいくつかの機能強化を提案します。
当社の基本 LiteVAE モデルは、エンコーダ パラメータを 6 分の 1 に削減することで現在の LDM で確立された VAE の品質と一致し、トレーニングの高速化と GPU メモリ要件の低減につながります。一方、当社のより大きなモデルは、評価されたすべてのメトリクス (rFID、rFID、
LPIPS、PSNR、および SSIM)。

要約(オリジナル)

Advances in latent diffusion models (LDMs) have revolutionized high-resolution image generation, but the design space of the autoencoder that is central to these systems remains underexplored. In this paper, we introduce LiteVAE, a new autoencoder design for LDMs, which leverages the 2D discrete wavelet transform to enhance scalability and computational efficiency over standard variational autoencoders (VAEs) with no sacrifice in output quality. We investigate the training methodologies and the decoder architecture of LiteVAE and propose several enhancements that improve the training dynamics and reconstruction quality. Our base LiteVAE model matches the quality of the established VAEs in current LDMs with a six-fold reduction in encoder parameters, leading to faster training and lower GPU memory requirements, while our larger model outperforms VAEs of comparable complexity across all evaluated metrics (rFID, LPIPS, PSNR, and SSIM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google