Taming Scalable Visual Tokenizer for Autoregressive Image Generation

要約

既存のベクトル量子化(VQ)法はスケーラビリティに苦戦しており、その主な原因は、学習中に部分的な更新が行われるコードブックの不安定性にある。コードブックは、非活性化コードと視覚特徴との間の分布ギャップが徐々に広がるため、利用率が低下するにつれて崩壊しやすくなる。この問題を解決するために、全てのコードブック埋め込みと視覚エンコーダの共同最適化のための新しいVQ手法であるIndex Backpropagation Quantization (IBQ)を提案する。符号化された特徴量とコードブックの間の1ホットのカテゴリカル分布にストレートスルー推定器を適用することで、全てのコードは微分可能であり、視覚エンコーダと一貫した潜在空間を維持する。IBQはビジュアル・トークナイザーのスケーラブルな学習を可能にし、初めて高次元($256$)で高利用率の大規模コードブック($2^{18}$)を実現した。標準的なImageNetベンチマークを用いた実験では、再構成($1.00$ rFID)と自己回帰視覚生成($2.05$ gFID)の両方で競争力のある結果を達成し、IBQのスケーラビリティと優位性を実証している。コードとモデルはhttps://github.com/TencentARC/SEED-Voken。

要約(オリジナル)

Existing vector quantization (VQ) methods struggle with scalability, largely attributed to the instability of the codebook that undergoes partial updates during training. The codebook is prone to collapse as utilization decreases, due to the progressively widening distribution gap between non-activated codes and visual features. To solve the problem, we propose Index Backpropagation Quantization (IBQ), a new VQ method for the joint optimization of all codebook embeddings and the visual encoder. Applying a straight-through estimator on the one-hot categorical distribution between the encoded feature and codebook, all codes are differentiable and maintain a consistent latent space with the visual encoder. IBQ enables scalable training of visual tokenizers and, for the first time, achieves a large-scale codebook ($2^{18}$) with high dimension ($256$) and high utilization. Experiments on the standard ImageNet benchmark demonstrate the scalability and superiority of IBQ, achieving competitive results on both reconstruction ($1.00$ rFID) and autoregressive visual generation ($2.05$ gFID). The code and models are available at https://github.com/TencentARC/SEED-Voken.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL