SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

要約

マルチモーダル基礎モデルの急速な進化は、ビジョン言語の理解と生成における大幅な進歩を実証しました (例: 以前の研究 SEED-LLaMA)。
ただし、主にさまざまなユーザーの指示に効果的に応答し、多様な視覚データと対話するためのモデルの能力が限られているため、その機能と現実世界の適用可能性の間には依然としてギャップがあります。
この研究では、(1) 任意のサイズと比率の画像の理解、および (2) 多粒度の画像生成の有効化という 2 つの拡張機能を統合することで、このギャップを埋めることに焦点を当てています。
我々は、理解と生成タスクのための多粒度の視覚的セマンティクスをモデル化できる、統合された汎用性の高い基盤モデル、つまり SEED-X を紹介します。
SEED-X は、公開ベンチマークでの競合結果に加えて、命令チューニング後のさまざまなドメインにわたる実際のアプリケーションの処理における有効性を実証しています。
私たちの研究が、現実世界のアプリケーションにおいて多用途のマルチモーダル基礎モデルによって何が達成できるかについての将来の研究に刺激を与えることを願っています。
モデル、コード、データセットは https://github.com/AILab-CVC/SEED-X でリリースされます。

要約(オリジナル)

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model’s limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google