ILLUME+: Illuminating Unified MLLM with Dual Visual Tokenization and Diffusion Refinement

要約

デュアルビジュアルトークン化と拡散デコーダーを活用して、深いセマンティック理解と高忠実度の画像生成の両方を改善するIllume+を提示します。
既存の統一モデルは、理解、生成、編集という統一モデルの3つの基本的な機能を同時に処理するのに苦労しています。
ChameleonやEMU3などのモデルは、深い意味論的相互作用がないため、画像離散化にVQGANを利用しているため、視覚的な理解タスクにLlavaのような専門モデルに遅れをとっています。
これを緩和するために、LavitとIllumeはトークン化にセマンティックエンコーダーを採用していますが、テクスチャの保存が不十分なため、画像編集に苦労しています。
一方、Janusシリーズは入力と出力の画像表現を分離し、インターリーブの画像テキストの理解と生成をシームレスに処理する能力を制限します。
対照的に、Illume+は、マルチモーダルの理解と生成のための粗からファインへの画像表現戦略を可能にしながら、きめ細かいテクスチャとテキスト整列セマンティクスの両方を保持する統一されたデュアル視覚トークナイザーDualvitokを導入します。
さらに、発電の品質と効率的な超解像度を高めるための画像デモン剤として拡散モデルを採用しています。
Illume+は、統一されたMLLM内の連続入力の離散出力スキームに従い、視力トークネザー、MLLM、および拡散デコーダー全体の動的解像度をサポートするプログレッシブトレーニング手順を採用します。
この設計により、柔軟で効率的なコンテキストを意識した画像編集と、多様なタスク全体の生成が可能になります。
Illume+（3B）は、マルチモーダルの理解、生成、および編集ベンチマーク全体で、既存の統一されたMLLMと特殊なモデルに対して競争力のあるパフォーマンスを示します。
Illume+は、その強力なパフォーマンスにより、将来のマルチモーダルアプリケーションのためのスケーラブルで多用途の基盤を提供します。
プロジェクトページ：https：//illume-unified-mllm.github.io/。

要約(オリジナル)

We present ILLUME+ that leverages dual visual tokenization and a diffusion decoder to improve both deep semantic understanding and high-fidelity image generation. Existing unified models have struggled to simultaneously handle the three fundamental capabilities in a unified model: understanding, generation, and editing. Models like Chameleon and EMU3 utilize VQGAN for image discretization, due to the lack of deep semantic interaction, they lag behind specialist models like LLaVA in visual understanding tasks. To mitigate this, LaViT and ILLUME employ semantic encoders for tokenization, but they struggle with image editing due to poor texture preservation. Meanwhile, Janus series decouples the input and output image representation, limiting their abilities to seamlessly handle interleaved image-text understanding and generation. In contrast, ILLUME+ introduces a unified dual visual tokenizer, DualViTok, which preserves both fine-grained textures and text-aligned semantics while enabling a coarse-to-fine image representation strategy for multimodal understanding and generation. Additionally, we employ a diffusion model as the image detokenizer for enhanced generation quality and efficient super-resolution. ILLUME+ follows a continuous-input, discrete-output scheme within the unified MLLM and adopts a progressive training procedure that supports dynamic resolution across the vision tokenizer, MLLM, and diffusion decoder. This design allows for flexible and efficient context-aware image editing and generation across diverse tasks. ILLUME+ (3B) exhibits competitive performance against existing unified MLLMs and specialized models across multimodal understanding, generation, and editing benchmarks. With its strong performance, ILLUME+ provides a scalable and versatile foundation for future multimodal applications. Project Page: https://illume-unified-mllm.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google