UniTok: A Unified Tokenizer for Visual Generation and Understanding

要約

視覚生成と理解の間の表現の格差は、これらの機能を単一のフレームワークに統合することに重大なギャップを課します。
このギャップを埋めるために、Unitokを導入します。これは、理解のための高レベルのセマンティクスをキャプチャしながら、生成のための細かい詳細をコードする離散視覚トークネイザーです。
これらの目的がトレーニングに損失の対立を誘発する可能性があることが最近の研究にもかかわらず、基礎となるボトルネックが離散トークンの限られた表現能力に由来することが明らかになりました。
これに対処し、マルチコードブックの量子化を導入します。これは、ベクトル量子化をいくつかの独立したサブコードブックと分割して、潜在的な特徴スペースを拡張しながら、コードブックによって引き起こされるトレーニングの不安定性を回避します。
私たちの方法は、統一された離散トークナザーの上限を大幅に上げて、ドメイン固有の連続トナイザーに合わせたり、それを上回ったりします。
たとえば、Unitokは0.38の驚くべきRFID（SD-VAEの場合は0.87）、イメージネットの78.6％（クリップで76.2％）のゼロショット精度を達成します。
私たちのコードは、https：//github.com/foundationvision/unitokで入手できます。

要約(オリジナル)

The representation disparity between visual generation and understanding imposes a critical gap in integrating these capabilities into a single framework. To bridge this gap, we introduce UniTok, a discrete visual tokenizer that encodes fine-grained details for generation while also capturing high-level semantics for understanding. Despite recent studies have shown that these objectives could induce loss conflicts in training, we reveal that the underlying bottleneck stems from limited representational capacity of discrete tokens. We address this by introducing multi-codebook quantization, which divides vector quantization with several independent sub-codebooks to expand the latent feature space, while avoiding training instability caused by overlarge codebooks. Our method significantly raises the upper limit of unified discrete tokenizers to match or even surpass domain-specific continuous tokenizers. For instance, UniTok achieves a remarkable rFID of 0.38 (versus 0.87 for SD-VAE) and a zero-shot accuracy of 78.6% (versus 76.2% for CLIP) on ImageNet. Our code is available at https://github.com/FoundationVision/UniTok.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google