Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

要約

近年、マルチモーダル理解モデルと画像生成モデルの両方で顕著な進歩が見られています。
それぞれの成功にもかかわらず、これらの2つのドメインは独立して進化し、明確なアーキテクチャパラダイムにつながりました。自己回帰ベースのアーキテクチャはマルチモーダルの理解を支配していますが、拡散ベースのモデルは画像生成の基礎になりました。
最近、これらのタスクを統合する統合フレームワークの開発に関心が高まっています。
GPT-4Oの新しい機能の出現は、この傾向を例示しており、統一の可能性を強調しています。
ただし、2つのドメイン間のアーキテクチャの違いは、大きな課題をもたらします。
統一に向けた現在の取り組みの明確な概要を提供するために、将来の研究を導くことを目的とした包括的な調査を提示します。
まず、マルチモーダルの理解とテキストから画像の生成モデルの基礎概念と最近の進歩を紹介します。
次に、既存の統一モデルをレビューし、それらを3つの主要なアーキテクチャパラダイムに分類します：拡散ベース、自己回帰ベース、およびハイブリッドアプローチを融合させる自己回帰および拡散メカニズムを融合します。
各カテゴリについて、関連する作品によって導入された構造設計と革新を分析します。
さらに、統一されたモデル用に合わせたデータセットとベンチマークをコンパイルし、将来の探索のためのリソースを提供します。
最後に、トークン化戦略、クロスモーダルの注意、データなど、この初期の分野が直面している重要な課題について説明します。
この領域はまだ初期段階にあるため、急速な進歩を予想し、この調査を定期的に更新します。
私たちの目標は、さらなる研究を促し、コミュニティに貴重な参照を提供することです。
この調査に関連付けられた参照は、github（https://github.com/aidc-ai/awesome-unified-multimodal-models）で入手できます。

要約(オリジナル)

Recent years have seen remarkable progress in both multimodal understanding models and image generation models. Despite their respective successes, these two domains have evolved independently, leading to distinct architectural paradigms: While autoregressive-based architectures have dominated multimodal understanding, diffusion-based models have become the cornerstone of image generation. Recently, there has been growing interest in developing unified frameworks that integrate these tasks. The emergence of GPT-4o’s new capabilities exemplifies this trend, highlighting the potential for unification. However, the architectural differences between the two domains pose significant challenges. To provide a clear overview of current efforts toward unification, we present a comprehensive survey aimed at guiding future research. First, we introduce the foundational concepts and recent advancements in multimodal understanding and text-to-image generation models. Next, we review existing unified models, categorizing them into three main architectural paradigms: diffusion-based, autoregressive-based, and hybrid approaches that fuse autoregressive and diffusion mechanisms. For each category, we analyze the structural designs and innovations introduced by related works. Additionally, we compile datasets and benchmarks tailored for unified models, offering resources for future exploration. Finally, we discuss the key challenges facing this nascent field, including tokenization strategy, cross-modal attention, and data. As this area is still in its early stages, we anticipate rapid advancements and will regularly update this survey. Our goal is to inspire further research and provide a valuable reference for the community. The references associated with this survey are available on GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google