The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

要約

近年、大規模言語モデル (LLM) の急速な発展が見られます。
強力な LLM に基づいて、マルチモーダル LLM (MLLM) はモダリティをテキストからより広範囲のドメインに拡張し、より幅広いアプリケーション シナリオがあるため広く注目を集めています。
LLM と MLLM は、新たな機能を実現するために膨大な量のモデル パラメーターとデータに依存しているため、データの重要性に対する注目と認識がますます広がっています。
MLLM の最近のデータ指向の作業を追跡および分析すると、モデルとデータの開発が 2 つの別々の道ではなく、むしろ相互接続されていることがわかります。
一方で、より膨大で高品質なデータは、MLLM のパフォーマンス向上に貢献します。
一方、MLLM はデータの開発を促進します。
マルチモーダル データと MLLM の共同開発には、1) MLLM のどの開発段階で、特定の MLLM 機能を強化するために特定のデータ中心のアプローチを採用できるか、2) MLLM がそれらの機能を活用してどのように貢献できるか、について明確な視点が必要です。
特定の役割でマルチモーダル データにアクセスします。
MLLM コミュニティのデータ モデルの共同開発を促進するために、MLLM に関連する既存の作業をデータ モデルの共同開発の観点から体系的にレビューします。
この調査に関連して定期的に保守されているプロジェクトには、https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md からアクセスできます。

要約(オリジナル)

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs; on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stages of MLLMs specific data-centric approaches can be employed to enhance certain MLLM capabilities, and 2) how MLLMs, utilizing those capabilities, can contribute to multi-modal data in specific roles. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google