Griffon-G: Bridging Vision-Language and Vision-Centric Tasks via Large Multimodal Models

要約

大規模マルチモーダル モデル (LMM) は、自己回帰モデリングに基づいたさまざまな視覚言語および視覚中心のタスクにおいて大きな進歩を遂げました。
ただし、これらのモデルは通常、視覚的なグラウンディングや領域の説明などの視覚中心のタスク、または画像キャプションやマルチシナリオ VQA などの視覚言語タスクのいずれかに焦点を当てています。
自然言語処理分野の大規模言語モデルに見られるように、両方のタイプのタスクを 1 つのモデル内で包括的に統合している LMM はまだありません。
さらに、豊富なマルチタスク命令追従データがあっても、ユニバーサル機能を拡張するためにこれらのデータを直接スタックすることは依然として困難です。
これらの問題に対処するために、CCMD-8M という新しい多次元のキュレーションおよび統合されたマルチモーダル データセットを導入します。これは、マルチレベルのデータ キュレーションとマルチタスクの統合を通じて、視覚中心のタスクと視覚言語のタスクを統合するというデータの壁を克服します。
さらに重要なのは、単一のエンドツーエンド パラダイム内で視覚中心のタスクと視覚言語タスクの両方に対処する一般的な大規模マルチモーダル モデルである Griffon-G を紹介することです。
Griffon-G は、これらのタスクの共同最適化中に発生したトレーニング崩壊の問題を解決し、トレーニング効率の向上を実現します。
マルチモーダル ベンチマーク、一般的なビジュアル質問応答 (VQA) タスク、シーン テキスト中心の VQA タスク、ドキュメント関連の VQA タスク、参照式理解、オブジェクト検出にわたる評価では、Griffon-G が高度な LMM を上回り、次の分野でエキスパート レベルのパフォーマンスを達成していることが実証されています。
複雑な視覚中心のタスク。

要約(オリジナル)

Large Multimodal Models (LMMs) have achieved significant breakthroughs in various vision-language and vision-centric tasks based on auto-regressive modeling. However, these models typically focus on either vision-centric tasks, such as visual grounding and region description, or vision-language tasks, like image caption and multi-scenario VQAs. None of the LMMs have yet comprehensively unified both types of tasks within a single model, as seen in Large Language Models in the natural language processing field. Furthermore, even with abundant multi-task instruction-following data, directly stacking these data for universal capabilities extension remains challenging. To address these issues, we introduce a novel multi-dimension curated and consolidated multimodal dataset, named CCMD-8M, which overcomes the data barriers of unifying vision-centric and vision-language tasks through multi-level data curation and multi-task consolidation. More importantly, we present Griffon-G, a general large multimodal model that addresses both vision-centric and vision-language tasks within a single end-to-end paradigm. Griffon-G resolves the training collapse issue encountered during the joint optimization of these tasks, achieving better training efficiency. Evaluations across multimodal benchmarks, general Visual Question Answering (VQA) tasks, scene text-centric VQA tasks, document-related VQA tasks, Referring Expression Comprehension, and object detection demonstrate that Griffon-G surpasses the advanced LMMs and achieves expert-level performance in complicated vision-centric tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google