STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

要約

高解像度の画像合成で強力なパフォーマンスを達成する正規化フローに基づいたスケーラブルな生成モデルであるStarflowを提示します。
スターフローのコアは、トランスオートルーリングフロー（TARFLOW）です。これは、フローを正常化する表現力と、自己回帰トランスの構造化されたモデリング機能を組み合わせています。
まず、連続分布をモデリングするためのTarflowの理論的普遍性を確立します。
この基盤に基づいて、いくつかの重要なアーキテクチャおよびアルゴリズムの革新を導入して、スケーラビリティを大幅に向上させます。（1）深い変圧器ブロックがモデルの表現能力の大部分をキャプチャし、計算上効率的でありながら実質的に有益ないくつかの浅い変圧器ブロックによって補完されます。
（2）直接的なピクセルレベルのモデリングよりも効果的であることが証明された、前処理された自動エンコーダーの潜在空間でのモデリング。
（3）サンプル品質を大幅に向上させる新しいガイダンスアルゴリズム。
重要なことに、私たちのモデルはエンドツーエンドの正規化フローのままであり、離散化なしに連続空間での正確な最尤トレーニングを可能にします。
Starflowは、クラスの条件付きおよびテキスト条件付き画像生成タスクの両方で競争力のあるパフォーマンスを実現し、サンプル品質の最先端の拡散モデルに近づきます。
私たちの知る限り、この作業は、この規模と解像度で効果的に動作する正規化フローの最初の成功したデモです。

要約(オリジナル)

We present STARFlow, a scalable generative model based on normalizing flows that achieves strong performance in high-resolution image synthesis. The core of STARFlow is Transformer Autoregressive Flow (TARFlow), which combines the expressive power of normalizing flows with the structured modeling capabilities of Autoregressive Transformers. We first establish the theoretical universality of TARFlow for modeling continuous distributions. Building on this foundation, we introduce several key architectural and algorithmic innovations to significantly enhance scalability: (1) a deep-shallow design, wherein a deep Transformer block captures most of the model representational capacity, complemented by a few shallow Transformer blocks that are computationally efficient yet substantially beneficial; (2) modeling in the latent space of pretrained autoencoders, which proves more effective than direct pixel-level modeling; and (3) a novel guidance algorithm that significantly boosts sample quality. Crucially, our model remains an end-to-end normalizing flow, enabling exact maximum likelihood training in continuous spaces without discretization. STARFlow achieves competitive performance in both class-conditional and text-conditional image generation tasks, approaching state-of-the-art diffusion models in sample quality. To our knowledge, this work is the first successful demonstration of normalizing flows operating effectively at this scale and resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google