Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation

要約

画像の理解と生成のための統一されたモデルの最近の進歩は印象的ですが、ほとんどのアプローチは、複数のモダリティを条件とする単一モーダル生成に限定されたままです。
この論文では、因果的アプローチを通じてインターリーブされたマルチモーダル生成を可能にすることにより、このパラダイムを前進させる統一されたフレームワークであるMogaoを提示します。
Mogaoは、アーキテクチャ設計の重要な技術的改善のセットを統合します。これには、揚げ物設計、デュアルビジョンエンコーダー、インターリーブロータリー位置の埋め込み、マルチモーダル分類子フリーガイダンスが含まれます。
これらの実際的な改善により、モガオはインターリーブのテキストと画像のシーケンスを任意に処理するのに特に効果的です。
統一されたモデルの可能性をさらにロック解除するために、共同テキストと画像生成のために特別にキュレーションされた大規模な社内データセットに効率的なトレーニング戦略を導入します。
広範な実験は、モガオがマルチモーダルの理解とテキストからイメージの生成において最先端のパフォーマンスを達成するだけでなく、高品質の一貫したインターリーブ出力の生産にも優れていることを示しています。
ゼロショット画像の編集と構成の生成におけるその緊急機能は、モガオを実用的なオムニモーダルファンデーションモデルとして強調し、将来の開発への道を開き、統一されたマルチモーダルシステムを拡大します。

要約(オリジナル)

Recent progress in unified models for image understanding and generation has been impressive, yet most approaches remain limited to single-modal generation conditioned on multiple modalities. In this paper, we present Mogao, a unified framework that advances this paradigm by enabling interleaved multi-modal generation through a causal approach. Mogao integrates a set of key technical improvements in architecture design, including a deep-fusion design, dual vision encoders, interleaved rotary position embeddings, and multi-modal classifier-free guidance, which allow it to harness the strengths of both autoregressive models for text generation and diffusion models for high-quality image synthesis. These practical improvements also make Mogao particularly effective to process interleaved sequences of text and images arbitrarily. To further unlock the potential of unified models, we introduce an efficient training strategy on a large-scale, in-house dataset specifically curated for joint text and image generation. Extensive experiments show that Mogao not only achieves state-of-the-art performance in multi-modal understanding and text-to-image generation, but also excels in producing high-quality, coherent interleaved outputs. Its emergent capabilities in zero-shot image editing and compositional generation highlight Mogao as a practical omni-modal foundation model, paving the way for future development and scaling the unified multi-modal systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google