On Computational Limits and Provably Efficient Criteria of Visual Autoregressive Models: A Fine-Grained Complexity Analysis

要約

最近、視覚的自己回帰($mathsf{VAR}$)モデルは、画像生成分野に画期的な進歩を導入し、粗から細への“次のスケールの予測”パラダイムを通してスケーラブルなアプローチを提供する。n$が$mathsf{VAR}$モデルによって生成された最後のVQコードマップの高さと幅を表すとすると、[Tian, Jiang, Yuan, Peng and Wang, NeurIPS 2024]の最先端アルゴリズムは$O(n^{4+o(1)})$時間がかかり、計算効率が悪い。この研究では、細かい複雑さのレンズを通して、$mathsf{VAR}$モデルの計算限界と効率基準を分析する。我々の重要な貢献は、$mathsf{VAR}$計算が二次関数以下の時間複雑性を達成できる条件を特定したことである。我々は、細密複雑性理論から強い指数時間仮説（$mathsf{SETH}$）を仮定すると、$mathsf{VAR}$モデルのサブクォード時間アルゴリズムは不可能であることを証明した。理論的な発見を実証するために、導出された基準に合致する低ランク近似を活用した効率的な構成を示す。本研究は、理論的観点から$mathsf{VAR}$モデルの計算効率の研究を開始する。我々の技術は、$mathsf{VAR}$フレームワークにおけるスケーラブルで効率的な画像生成の進歩に光を当てるだろう。

要約(オリジナル)

Recently, Visual Autoregressive ($\mathsf{VAR}$) Models introduced a groundbreaking advancement in the field of image generation, offering a scalable approach through a coarse-to-fine “next-scale prediction” paradigm. Suppose that $n$ represents the height and width of the last VQ code map generated by $\mathsf{VAR}$ models, the state-of-the-art algorithm in [Tian, Jiang, Yuan, Peng and Wang, NeurIPS 2024] takes $O(n^{4+o(1)})$ time, which is computationally inefficient. In this work, we analyze the computational limits and efficiency criteria of $\mathsf{VAR}$ Models through a fine-grained complexity lens. Our key contribution is identifying the conditions under which $\mathsf{VAR}$ computations can achieve sub-quadratic time complexity. We have proved that assuming the Strong Exponential Time Hypothesis ($\mathsf{SETH}$) from fine-grained complexity theory, a sub-quartic time algorithm for $\mathsf{VAR}$ models is impossible. To substantiate our theoretical findings, we present efficient constructions leveraging low-rank approximations that align with the derived criteria. This work initiates the study of the computational efficiency of the $\mathsf{VAR}$ model from a theoretical perspective. Our technique will shed light on advancing scalable and efficient image generation in $\mathsf{VAR}$ frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL