SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers

要約

最大 4096$\times$4096 の解像度の画像を効率的に生成できるテキストから画像へのフレームワークである \model を紹介します。
\model は、強力なテキストと画像の位置合わせを備えた高解像度、高品質の画像を驚くほど高速で合成でき、ラップトップの GPU に展開できます。
コア設計には以下が含まれます: (1) 高度な圧縮オートエンコーダー: 画像を 8$\times$ しか圧縮しない従来の AE とは異なり、画像を 32$\times$ 圧縮できる AE をトレーニングし、潜在トークンの数を効果的に削減しました。
(2) リニア DiT: DiT 内のすべてのバニラ アテンションをリニア アテンションに置き換えます。これは、品質を犠牲にすることなく高解像度でより効率的です。
(3) デコーダ専用のテキスト エンコーダ: テキスト エンコーダとして T5 を最新のデコーダ専用の小型 LLM に置き換え、画像とテキストの位置合わせを強化するためにコンテキスト内学習を備えた複雑な人間による命令を設計しました。
(4) 効率的なトレーニングとサンプリング: 収束を加速する効率的なキャプションのラベル付けと選択により、サンプリング ステップを削減する Flow-DPM-Solver を提案します。
その結果、 \model-0.6B は現代の巨大拡散モデル (Flux-12B など) と非常に競争力があり、測定されたスループットでは 20 倍小さく、100 倍以上高速です。
さらに、\model-0.6B は 16 GB ラップトップ GPU に展開でき、1024$\times$1024 の解像度のイメージを生成するのに 1 秒もかかりません。
Sanaは低コストでコンテンツ制作を可能にします。
コードとモデルは公開されます。

要約(オリジナル)

We introduce \model, a text-to-image framework that can efficiently generate images up to 4096$\times$4096 resolution. \model can synthesize high-resolution, high-quality images with strong text-image alignment at a remarkably fast speed, deployable on laptop GPU. Core designs include: (1) Deep compression autoencoder: unlike traditional AEs, which compress images only 8$\times$, we trained an AE that can compress images 32$\times$, effectively reducing the number of latent tokens. (2) Linear DiT: we replace all vanilla attention in DiT with linear attention, which is more efficient at high resolutions without sacrificing quality. (3) Decoder-only text encoder: we replaced T5 with modern decoder-only small LLM as the text encoder and designed complex human instruction with in-context learning to enhance the image-text alignment. (4) Efficient training and sampling: we propose Flow-DPM-Solver to reduce sampling steps, with efficient caption labeling and selection to accelerate convergence. As a result, \model-0.6B is very competitive with modern giant diffusion model (e.g. Flux-12B), being 20 times smaller and 100+ times faster in measured throughput. Moreover, \model-0.6B can be deployed on a 16GB laptop GPU, taking less than 1 second to generate a 1024$\times$1024 resolution image. Sana enables content creation at low cost. Code and model will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google