Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

要約

近年、マルチモーダル理解モデルと画像生成モデルの両方が目覚ましい進歩を遂げている。それぞれの成功にもかかわらず、この2つの領域は独立して進化し、異なるアーキテクチャパラダイムをもたらした：自己回帰ベースのアーキテクチャがマルチモーダル理解を支配してきたのに対し、拡散ベースのモデルは画像生成の基礎となってきた。近年、これらのタスクを統合する統一的なフレームワークの開発に対する関心が高まっている。GPT-4oの新機能の登場はこの傾向を例証するものであり、統合の可能性を浮き彫りにしている。しかし、この2つの領域にはアーキテクチャ上の違いがあり、大きな課題となっている。統一に向けた現在の取り組みを明確に概観するために、将来の研究の指針となるような包括的なサーベイを行う。まず、マルチモーダル理解とテキスト画像生成モデルの基礎概念と最近の進歩を紹介する。次に、既存の統一モデルをレビューし、拡散ベース、自己回帰ベース、自己回帰と拡散メカニズムを融合したハイブリッドアプローチの3つの主要なアーキテクチャパラダイムに分類する。それぞれのカテゴリーについて、関連する研究によって導入された構造設計とイノベーションを分析する。さらに、統一モデル用に調整されたデータセットとベンチマークをまとめ、将来の探求のためのリソースを提供する。最後に、トークン化戦略、クロスモーダルな注意、データなど、この黎明期の分野が直面する主要な課題について議論する。この分野はまだ初期段階であるため、急速な進歩が予想され、この調査は定期的に更新される予定である。私たちの目標は、さらなる研究を促し、コミュニティに貴重な参考資料を提供することである。この調査に関連する参考文献は、近日中にGitHubで公開される予定である。

要約(オリジナル)

Recent years have seen remarkable progress in both multimodal understanding models and image generation models. Despite their respective successes, these two domains have evolved independently, leading to distinct architectural paradigms: While autoregressive-based architectures have dominated multimodal understanding, diffusion-based models have become the cornerstone of image generation. Recently, there has been growing interest in developing unified frameworks that integrate these tasks. The emergence of GPT-4o’s new capabilities exemplifies this trend, highlighting the potential for unification. However, the architectural differences between the two domains pose significant challenges. To provide a clear overview of current efforts toward unification, we present a comprehensive survey aimed at guiding future research. First, we introduce the foundational concepts and recent advancements in multimodal understanding and text-to-image generation models. Next, we review existing unified models, categorizing them into three main architectural paradigms: diffusion-based, autoregressive-based, and hybrid approaches that fuse autoregressive and diffusion mechanisms. For each category, we analyze the structural designs and innovations introduced by related works. Additionally, we compile datasets and benchmarks tailored for unified models, offering resources for future exploration. Finally, we discuss the key challenges facing this nascent field, including tokenization strategy, cross-modal attention, and data. As this area is still in its early stages, we anticipate rapid advancements and will regularly update this survey. Our goal is to inspire further research and provide a valuable reference for the community. The references associated with this survey will be available on GitHub soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL