SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

要約

このホワイトペーパーでは、テキストからイメージの生成において効率的なスケーリングのための線形拡散トランスであるSANA-1.5を紹介します。
SANA-1.0に基づいて、3つの重要なイノベーションを紹介します。（1）効率的なトレーニングスケーリング：1.6bから4.8bのパラダイムを可能にし、計算リソースを大幅に削減し、メモリ効率の高い8ビットオプティマイザーと組み合わせて拡大することができます。
。
（2）モデル深度剪定：最小限の品質損失で任意のサイズに効率的なモデル圧縮のためのブロックの重要性分析技術。
（3）推論時間スケーリング：モデル容量に対して計算を交換する繰り返しサンプリング戦略。小さなモデルが推論時間でより大きなモデルの品質を一致させることができます。
これらの戦略を通じて、SANA-1.5は、遺伝子で0.72のテキスト画像アライメントスコアを達成し、推論スケーリングによりさらに0.80に改善し、Genevalベンチマークに新しいSOTAを確立できます。
これらのイノベーションにより、高品質を維持しながら、さまざまな計算予算にわたって効率的なモデルスケーリングが可能になり、高品質の画像生成がよりアクセスしやすくなります。

要約(オリジナル)

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google