Unified Autoregressive Visual Generation and Understanding with Continuous Tokens

要約

共同視覚生成と連続的な視覚トークンの活用を理解するための統一された自己回帰フレームワークであるUniflidを提示します。
統一された自動脱出アーキテクチャは、マルチモーダルイメージとテキスト入力をプロセスし、テキスト用の離散トークンと画像の連続トークンを生成します。
画像生成と理解のタスクの間には固有のトレードオフがありますが、慎重に調整されたトレーニングレシピにより、お互いを改善できるようになります。
適切な損失バランスの重量を選択することにより、統一モデルは、両方のタスクのシングルタスクベースラインの結果に匹敵する、またはそれを超える結果を達成します。
さらに、トレーニング中により強力な事前訓練を受けたLLMとランダムオーダー生成を採用することが、この統一されたフレームワーク内で高忠実度のイメージ生成を達成するために重要であることを実証します。
Gemmaモデルシリーズに基づいて構築されたUnifluidは、画像生成と理解の両方で競争力のあるパフォーマンスを示し、生成のための画像編集や理解のための視覚的なキャプションと質問の回答など、さまざまな下流タスクへの強い移転可能性を示しています。

要約(オリジナル)

We present UniFluid, a unified autoregressive framework for joint visual generation and understanding leveraging continuous visual tokens. Our unified autoregressive architecture processes multimodal image and text inputs, generating discrete tokens for text and continuous tokens for image. We find though there is an inherent trade-off between the image generation and understanding task, a carefully tuned training recipe enables them to improve each other. By selecting an appropriate loss balance weight, the unified model achieves results comparable to or exceeding those of single-task baselines on both tasks. Furthermore, we demonstrate that employing stronger pre-trained LLMs and random-order generation during training is important to achieve high-fidelity image generation within this unified framework. Built upon the Gemma model series, UniFluid exhibits competitive performance across both image generation and understanding, demonstrating strong transferability to various downstream tasks, including image editing for generation, as well as visual captioning and question answering for understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google