ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

要約

この論文では、統合されたネクストトークン予測定式化を通じて、単一の大規模言語モデル内でマルチモーダルな理解と生成機能をシームレスに統合する統合マルチモーダル大規模言語モデル (MLLM) である ILLUME を紹介します。
画像とテキストの位置合わせに通常必要となる大きなデータセット サイズに対処するために、意味情報と漸進的な多段階トレーニング手順を組み込んだビジョン トークナイザーの設計を通じてデータ効率を向上させることを提案します。
このアプローチにより、事前トレーニング用のデータセット サイズがわずか 15M に削減され、通常必要とされるデータセットの 4 分の 1 以上になりますが、Janus などの既存の統合 MLLM と競合する、またはさらに優れたパフォーマンスを実現します。
さらに、以前の研究では十分に検討されていなかった理解能力と生成能力の間の相乗的な強化を促進するために、新しい自己強化マルチモーダルアライメントスキームを導入します。
このスキームは、テキストの説明と自己生成された画像の間の一貫性を自己評価するように MLLM を監視し、モデルが画像をより正確に解釈し、画像生成のずれによって引き起こされる非現実的で不正確な予測を回避することを容易にします。
広範な実験に基づいて、私たちが提案する ILLUME は傑出しており、マルチモーダルな理解、生成、編集のさまざまなベンチマークにわたって、最先端の統合 MLLM や特殊なモデルと競合します。

要約(オリジナル)

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining — over four times fewer than what is typically needed — while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google