GIVT: Generative Infinite-Vocabulary Transformers

要約

有限語彙から離散トークンではなく、実数値エントリを含むベクトル シーケンスを生成する生成無限語彙変換器 (GIVT) を導入します。
この目的を達成するために、デコーダ専用トランスフォーマに対する 2 つの驚くほど単純な変更を提案します。1) 入力において、有限語彙ルックアップ テーブルを入力ベクトルの線形投影に置き換えます。
2) 出力では、ロジット予測 (通常はカテゴリ分布にマッピングされる) を多変量ガウス混合モデルのパラメーターに置き換えます。
VQ-GAN と MaskGIT の画像生成パラダイムに触発され、変換器を使用して VQ-VAE の離散潜在シーケンスをモデル化し、GIVT を使用して $\beta$-VAE の量子化されていない実数値の潜在シーケンスをモデル化します。
。
クラス条件付き画像生成では、GIVT は VQ-GAN (およびその改良版) および MaskGIT を上回り、最近の潜在拡散モデルと競合するパフォーマンスを達成します。
最後に、UViM フレームワークの VAE バリアントを使用して GIVT をパノプティック セグメンテーションと深度推定に適用すると、画像生成以外でも強力な結果が得られます。

要約(オリジナル)

We introduce Generative Infinite-Vocabulary Transformers (GIVT) which generate vector sequences with real-valued entries, instead of discrete tokens from a finite vocabulary. To this end, we propose two surprisingly simple modifications to decoder-only transformers: 1) at the input, we replace the finite-vocabulary lookup table with a linear projection of the input vectors; and 2) at the output, we replace the logits prediction (usually mapped to a categorical distribution) with the parameters of a multivariate Gaussian mixture model. Inspired by the image-generation paradigm of VQ-GAN and MaskGIT, where transformers are used to model the discrete latent sequences of a VQ-VAE, we use GIVT to model the unquantized real-valued latent sequences of a $\beta$-VAE. In class-conditional image generation GIVT outperforms VQ-GAN (and improved variants thereof) as well as MaskGIT, and achieves performance competitive with recent latent diffusion models. Finally, we obtain strong results outside of image generation when applying GIVT to panoptic segmentation and depth estimation with a VAE variant of the UViM framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google