Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding

要約

現在の大規模な自己回帰モデルは高品質、高解像度の画像を生成できますが、これらのモデルでは推論中に次のトークンの予測に数百、さらには数千のステップが必要となるため、かなりの時間がかかります。
既存の研究では、自己回帰生成を高速化するために反復並列復号アルゴリズムであるヤコビ復号が使用されており、トレーニングなしで実行できます。
ただし、ヤコビ復号化は、反復の収束を決定する決定論的な基準に依存します。
したがって、貪欲なデコードには機能しますが、現在の自動回帰的なテキストから画像への生成における視覚的な品質と多様性にとって重要なサンプリングベースのデコードとは互換性がありません。
この論文では、自己回帰的なテキストから画像への生成を高速化するために、トレーニング不要の確率的並列復号アルゴリズムである投機的ヤコビ復号 (SJD) を提案します。
確率的収束基準を導入することにより、SJD は、サンプリング ベースのトークン デコードにおけるランダム性を維持し、モデルが多様な画像を生成できるようにしながら、自己回帰によるテキストから画像への生成の推論を高速化します。
具体的には、SJD は、モデルが各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け入れることを容易にし、モデルが従来の次トークン予測パラダイムよりも少ないステップで画像を生成できるようにします。
また、視覚データの空間的局所性を活用して、特定のシナリオの下で加速率をさらに向上させるトークン初期化戦略も調査します。
私たちは、複数の自己回帰テキストから画像への生成モデルで提案した SJD の実験を実施し、視覚的な品質を犠牲にすることなくモデルの高速化の有効性を示しました。

要約(オリジナル)

The current large auto-regressive models can generate high-quality, high-resolution images, but these models require hundreds or even thousands of steps of next-token prediction during inference, resulting in substantial time consumption. In existing studies, Jacobi decoding, an iterative parallel decoding algorithm, has been used to accelerate the auto-regressive generation and can be executed without training. However, the Jacobi decoding relies on a deterministic criterion to determine the convergence of iterations. Thus, it works for greedy decoding but is incompatible with sampling-based decoding which is crucial for visual quality and diversity in the current auto-regressive text-to-image generation. In this paper, we propose a training-free probabilistic parallel decoding algorithm, Speculative Jacobi Decoding (SJD), to accelerate auto-regressive text-to-image generation. By introducing a probabilistic convergence criterion, our SJD accelerates the inference of auto-regressive text-to-image generation while maintaining the randomness in sampling-based token decoding and allowing the model to generate diverse images. Specifically, SJD facilitates the model to predict multiple tokens at each step and accepts tokens based on the probabilistic criterion, enabling the model to generate images with fewer steps than the conventional next-token-prediction paradigm. We also investigate the token initialization strategies that leverage the spatial locality of visual data to further improve the acceleration ratio under specific scenarios. We conduct experiments for our proposed SJD on multiple auto-regressive text-to-image generation models, showing the effectiveness of model acceleration without sacrificing the visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google