Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

要約

我々は、大規模言語モデルの独自の「次トークン予測」パラダイムをビジュアル生成ドメインに適用する画像生成モデルの新しいファミリーである LlamaGen を紹介します。
これは、視覚信号に誘導バイアスを持たないバニラ自己回帰モデル (Llama など) が適切にスケーリングすれば最先端の画像生成パフォーマンスを達成できるかどうかに対する肯定的な答えです。
画像トークナイザーの設計空間、画像生成モデルのスケーラビリティ特性、およびトレーニング データの品質を再検討します。
この調査の結果は次のとおりです。 (1) ImageNet ベンチマークでのダウンサンプル比 16、再構成品質 0.94 rFID、およびコードブック使用率 97% の画像トークナイザー。
(2) 111M から 3.1B パラメータの範囲の一連のクラス条件付き画像生成モデルは、ImageNet 256×256 ベンチマークで 2.18 FID を達成し、LDM、DiT などの一般的な普及モデルを上回ります。
(3) LAION-COCO の 2 段階トレーニングと高美的品質の画像から得た 7 億 7,500 万のパラメーターを備えたテキスト条件付き画像生成モデル。これは、視覚的品質とテキスト配置の競争力のあるパフォーマンスを示します。
(4) 画像生成モデルの推論速度の最適化における LLM サービング フレームワークの有効性を検証し、326% ～ 414% の高速化を達成しました。
ビジュアル生成とマルチモーダル基盤モデルのオープンソース コミュニティを促進するために、すべてのモデルとコードをリリースします。

要約(オリジナル)

We introduce LlamaGen, a new family of image generation models that apply original “next-token prediction” paradigm of large language models to visual generation domain. It is an affirmative answer to whether vanilla autoregressive models, e.g., Llama, without inductive biases on visual signals can achieve state-of-the-art image generation performance if scaling properly. We reexamine design spaces of image tokenizers, scalability properties of image generation models, and their training data quality. The outcome of this exploration consists of: (1) An image tokenizer with downsample ratio of 16, reconstruction quality of 0.94 rFID and codebook usage of 97% on ImageNet benchmark. (2) A series of class-conditional image generation models ranging from 111M to 3.1B parameters, achieving 2.18 FID on ImageNet 256×256 benchmarks, outperforming the popular diffusion models such as LDM, DiT. (3) A text-conditional image generation model with 775M parameters, from two-stage training on LAION-COCO and high aesthetics quality images, demonstrating competitive performance of visual quality and text alignment. (4) We verify the effectiveness of LLM serving frameworks in optimizing the inference speed of image generation models and achieve 326% – 414% speedup. We release all models and codes to facilitate open-source community of visual generation and multimodal foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google