FlowTok: Flowing Seamlessly Across Text and Image Tokens

要約

異なるモダリティを橋渡しすることは、クロスモダリティ世代の中心にあります。
従来のアプローチは、テキストモダリティをガウスノイズからターゲット画像モダリティまで徐々に導くコンディショニングシグナルとして扱いますが、フローマッチングを通じてテキストと画像のモダリティの間でよりシンプルなパラダイムダイレクトの進化を探ります。
これには、両方のモダリティを共有潜在スペースに投影する必要があります。これは、本質的に異なる表現のために重要な課題をもたらします。テキストは非常にセマンティックで1Dトークンとしてエンコードされますが、画像は空間的に冗長で2D潜在的な埋め込みとして表されます。
これに対処するために、画像をコンパクトな1Dトークン表現にエンコードすることにより、テキストと画像をシームレスに流れる最小限のフレームワークであるFlowtokを紹介します。
以前の方法と比較して、この設計により、256の画像解像度で潜在的な空間サイズが3.3倍になり、複雑なコンディショニングメカニズムまたはノイズスケジューリングの必要性が排除されます。
さらに、Flowtokは、同じ定式化の下で自然に画像間生成に拡張されます。
Compact 1Dトークンを中心とした合理化されたアーキテクチャにより、FlowTOKは非常にメモリ効率が高く、トレーニングリソースが大幅に少なくなり、最先端のモデルに匹敵するパフォーマンスを提供しながら、より速いサンプリング速度を達成します。
コードはhttps://github.com/bytedance/1d-tokenizerで入手できます。

要約(オリジナル)

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google