On the Scalability of Diffusion-based Text-to-Image Generation

要約

モデルとデータサイズの拡大縮小は、LLMの進化においてかなり成功している。しかし、拡散に基づくT2I（text-to-image）モデルのスケーリング則は十分に検討されていない。また、より良い性能を低コストで実現するために、どのように効率的にモデルをスケーリングするのかも不明である。異なる学習設定と高価な学習コストが、公平なモデル比較を極めて困難にしている。この研究では、最大600M画像のデータセットに対して、0.4Bから4Bのパラメータを持つUNetとTransformerのバリエーションを含む、ノイズ除去バックボーンとトレーニングセットの両方のスケーリングに関する広範かつ厳密なアブレーションを実施することにより、拡散に基づくT2Iモデルのスケーリング特性を経験的に研究する。モデルのスケーリングについては、クロスアテンションの位置と量が既存のUNet設計の性能を区別することがわかった。また、チャンネル数を増やすよりも、変換ブロックを増やす方が、テキストと画像の位置合わせを改善するためのパラメータ効率が高い。そして、SDXLのUNetよりも45%小さく、28%高速な効率的なUNetの変形を特定した。データスケーリングの面では、単純なデータセットサイズよりも学習セットの質と多様性が重要であることを示す。キャプションの密度と多様性を高めることで、テキストと画像のアライメント性能と学習効率が向上する。最後に、モデルサイズ、計算量、データセットサイズのスケールの関数として、テキスト画像アライメント性能を予測するスケーリング関数を提供する。

要約(オリジナル)

Scaling up model and data size has been quite successful for the evolution of LLMs. However, the scaling law for the diffusion based text-to-image (T2I) models is not fully explored. It is also unclear how to efficiently scale the model for better performance at reduced cost. The different training settings and expensive training cost make a fair model comparison extremely difficult. In this work, we empirically study the scaling properties of diffusion based T2I models by performing extensive and rigours ablations on scaling both denoising backbones and training set, including training scaled UNet and Transformer variants ranging from 0.4B to 4B parameters on datasets upto 600M images. For model scaling, we find the location and amount of cross attention distinguishes the performance of existing UNet designs. And increasing the transformer blocks is more parameter-efficient for improving text-image alignment than increasing channel numbers. We then identify an efficient UNet variant, which is 45% smaller and 28% faster than SDXL’s UNet. On the data scaling side, we show the quality and diversity of the training set matters more than simply dataset size. Increasing caption density and diversity improves text-image alignment performance and the learning efficiency. Finally, we provide scaling functions to predict the text-image alignment performance as functions of the scale of model size, compute and dataset size.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL