StraIT: Non-autoregressive Generation with Stratified Image Transformer

要約

既存の自己回帰 (AR) および拡散モデル (DM) に対する高品質の画像合成の優位性を示す、純粋な非自己回帰 (NAR) 生成モデルである Stratified Image Transformer (StraIT) を提案します。
既存のビジョントークナイザーにおける視覚的特徴の悪用とは対照的に、画像の階層的性質を活用して、視覚的トークンを創発的なプロパティを持つ階層化されたレベルにエンコードします。
相互リンクされたトークン ペアを取得する提案された画像階層化を通じて、モデリングの難しさを軽減し、NAR モデルの生成力を高めます。
私たちの実験では、StraIT が NAR 生成を大幅に改善し、既存の DM および AR メソッドよりも優れたパフォーマンスを発揮する一方で、桁違いに高速であり、サンプリングまたは補助画像分類子のガイダンスを活用することなく、ImageNet で 256*256 解像度で 3.96 の FID スコアを達成することが実証されています。
分類子のないガイダンスを装備すると、この方法は 3.36 の FID と 259.3 の IS を達成します。
さらに、StraIT 生成のデカップリング モデリング プロセスを説明し、ドメイン転送を含むアプリケーションでの魅力的なプロパティを示します。

要約(オリジナル)

We propose Stratified Image Transformer(StraIT), a pure non-autoregressive(NAR) generative model that demonstrates superiority in high-quality image synthesis over existing autoregressive(AR) and diffusion models(DMs). In contrast to the under-exploitation of visual characteristics in existing vision tokenizer, we leverage the hierarchical nature of images to encode visual tokens into stratified levels with emergent properties. Through the proposed image stratification that obtains an interlinked token pair, we alleviate the modeling difficulty and lift the generative power of NAR models. Our experiments demonstrate that StraIT significantly improves NAR generation and out-performs existing DMs and AR methods while being order-of-magnitude faster, achieving FID scores of 3.96 at 256*256 resolution on ImageNet without leveraging any guidance in sampling or auxiliary image classifiers. When equipped with classifier-free guidance, our method achieves an FID of 3.36 and IS of 259.3. In addition, we illustrate the decoupled modeling process of StraIT generation, showing its compelling properties on applications including domain transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google