A Survey on Multimodal Large Language Models

要約

最近、GPT-4V に代表されるマルチモーダル大規模言語モデル (MLLM) が新たな注目の研究スポットとなっています。これは、強力な大規模言語モデル (LLM) をマルチモーダル タスクを実行する頭脳として使用します。
画像や光学式文字認識 (OCR) を使用しない数学的推論に基づいたストーリーの作成など、MLLM の驚くべき新機能は、従来のマルチモーダル手法ではまれであり、汎用人工知能への潜在的な道筋を示唆しています。
この目的を達成するために、学界と産業界の両方が GPT-4V と競合、またはそれを上回る MLLM の開発に努め、驚くべきスピードで研究の限界を押し上げてきました。
この論文では、MLLM の最近の進歩を追跡し、要約することを目的としています。
まず最初に、MLLM の基本的な定式化を示し、アーキテクチャ、トレーニング戦略、データ、評価などの関連概念を概説します。
次に、より粒度、モダリティ、言語、シナリオをサポートするために MLLM を拡張する方法に関する研究トピックを紹介します。
私たちは、マルチモーダル幻覚と、マルチモーダル ICL (M-ICL)、マルチモーダル CoT (M-CoT)、LLM 支援視覚推論 (LAVR) などの拡張技術を継続します。
論文の締めくくりとして、既存の課題について議論し、有望な研究の方向性を指摘します。

要約(オリジナル)

Recently, Multimodal Large Language Model (MLLM) represented by GPT-4V has been a new rising research hotspot, which uses powerful Large Language Models (LLMs) as a brain to perform multimodal tasks. The surprising emergent capabilities of MLLM, such as writing stories based on images and Optical Character Recognition (OCR)-free math reasoning, are rare in traditional multimodal methods, suggesting a potential path to artificial general intelligence. To this end, both academia and industry have endeavored to develop MLLMs that can compete with or even outperform GPT-4V, pushing the limit of research at a surprising speed. In this paper, we aim to trace and summarize the recent progress of MLLMs. First of all, we present the basic formulation of MLLM and delineate its related concepts, including architecture, training strategy and data, as well as evaluation. Then, we introduce research topics about how MLLMs can be extended to support more granularity, modalities, languages, and scenarios. We continue with multimodal hallucination and extended techniques, including Multimodal ICL (M-ICL), Multimodal CoT (M-CoT), and LLM-Aided Visual Reasoning (LAVR). To conclude the paper, we discuss existing challenges and point out promising research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google