Tokenize Image as a Set

要約

このペーパーでは、セットベースのトークン化と分布モデリングを通じて、画像生成のための根本的に新しいパラダイムを提案します。
画像を均一な圧縮比を持つ固定位置の潜在コードにシリアル化する従来の方法とは異なり、地域の意味的複雑さに基づいてコーディング容量を動的に割り当てるために、順序付けられていないトークンセット表現を導入します。
このトークンセットは、グローバルなコンテキスト集約を強化し、ローカル摂動に対する堅牢性を向上させます。
個別のセットをモデリングするという重要な課題に対処するために、総合的な制約を備えたセットを生物的に整数整数シーケンスに生物的に変換する二重変換メカニズムを考案します。
さらに、固定されたサムの離散拡散（離散値、固定シーケンス長、および合計不変性を同時に処理する最初のフレームワーク）を提案します。
実験は、セマンティックに対応する表現と生成の質における私たちの方法の優位性を示しています。
新しい表現とモデリング戦略にまたがる私たちの革新は、従来のシーケンシャルトークンパラダイムを超えて視覚的な生成を進めています。
私たちのコードとモデルは、https://github.com/gengzigang/tokensetで公開されています。

要約(オリジナル)

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion–the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance–enabling effective set distribution modeling. Experiments demonstrate our method’s superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google