On Path to Multimodal Generalist: General-Level and General-Bench

要約

Multimodal Large Languageモデル（MLLM）は、LLMの高度な機能によって促進されており、現在、急速な成長を遂げています。
以前の専門家とは異なり、既存のMLLMはマルチモーダルジェネラリストのパラダイムに向かって進化しています。
当初、複数のモダリティの理解に限定されていたこれらのモデルは、理解するだけでなく、モダリティ全体で生成するように進歩しています。
それらの能力は、粗粒から微調整されたマルチモーダルの理解に拡大し、限られたモダリティを任意のモダリティにサポートしています。
MLLMSを評価するために多くのベンチマークが存在しますが、重要な疑問が生じます。タスク全体のパフォーマンスが高いとMLLM機能が強く、人間レベルのAIに近づくことができると単純に想定できますか？
答えは見た目ほど簡単ではないと主張します。
このプロジェクトでは、MLLMのパフォーマンスと一般性の5つのスケールレベルを定義する評価フレームワークである一般レベルを紹介します。MLLMを比較し、より堅牢なマルチモーダルジェネラリストへの既存のシステムの進捗を評価する方法を提供します。
フレームワークの核心は、モデルが理解と生成にわたって一貫した能力を維持し、複数のモダリティ全体で維持するかどうかを測定する相乗効果の概念です。
この評価をサポートするために、700を超えるタスクと325,800インスタンスを含む、より幅広いスキル、モダリティ、フォーマット、および機能を含む一般ベンチを提示します。
100を超える既存の最先端のMLLMが関与する評価結果は、一般主義者の能力ランキングを明らかにし、本物のAIに到達する際の課題を強調しています。
このプロジェクトは、AGIの実現を加速するための堅牢なインフラストラクチャを提供する次世代マルチモーダルファンデーションモデルに関する将来の研究への道を開くことを期待しています。
プロジェクトページ：https：//generalist.top/

要約(オリジナル)

The Multimodal Large Language Model (MLLM) is currently experiencing rapid growth, driven by the advanced capabilities of LLMs. Unlike earlier specialists, existing MLLMs are evolving towards a Multimodal Generalist paradigm. Initially limited to understanding multiple modalities, these models have advanced to not only comprehend but also generate across modalities. Their capabilities have expanded from coarse-grained to fine-grained multimodal understanding and from supporting limited modalities to arbitrary ones. While many benchmarks exist to assess MLLMs, a critical question arises: Can we simply assume that higher performance across tasks indicates a stronger MLLM capability, bringing us closer to human-level AI? We argue that the answer is not as straightforward as it seems. This project introduces General-Level, an evaluation framework that defines 5-scale levels of MLLM performance and generality, offering a methodology to compare MLLMs and gauge the progress of existing systems towards more robust multimodal generalists and, ultimately, towards AGI. At the core of the framework is the concept of Synergy, which measures whether models maintain consistent capabilities across comprehension and generation, and across multiple modalities. To support this evaluation, we present General-Bench, which encompasses a broader spectrum of skills, modalities, formats, and capabilities, including over 700 tasks and 325,800 instances. The evaluation results that involve over 100 existing state-of-the-art MLLMs uncover the capability rankings of generalists, highlighting the challenges in reaching genuine AI. We expect this project to pave the way for future research on next-generation multimodal foundation models, providing a robust infrastructure to accelerate the realization of AGI. Project page: https://generalist.top/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google