Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training

要約

大規模言語モデル (LLM) の急速な進歩により、その機能をマルチモーダル タスクに拡張する取り組みが殺到しています。
その中でも、ビジュアルエンコーディングと言語デコーディングを単一の LLM に統合するモノリシックなマルチモーダル大規模言語モデル (MLLM) に注目が集まっています。
構造が単純で導入が容易であるにもかかわらず、期待できるパフォーマンスを備えたモノリシック MLLM をトレーニングすることは依然として困難です。
特に、一般的なアプローチでは、継続的な事前トレーニングを採用して、事前トレーニングされた LLM をモノリシック MLLM に拡張しますが、壊滅的な忘却が発生し、パフォーマンスの低下につながります。
この論文では、デルタチューニングの観点からこの制限を克服することを目指します。
具体的には、私たちの中心となるアイデアは、視覚パラメータを事前トレーニングされた LLM に埋め込むことで、デルタ チューニングを介して大量のデータから視覚知識を段階的に学習することです。つまり、視覚パラメータを最適化するときに LLM をフリーズします。
この原理に基づいて、私たちは、マルチモーダルな専門家混合構造を介して一連の視覚的専門家をシームレスに統合する、新しいモノリシック MLLM である Mono-InternVL を紹介します。
さらに、Mono-InternVL の視覚能力を最大化するための革新的な事前トレーニング戦略、すなわち Endogenous Visual Pre-training (EViP) を提案します。
特に、EViP は視覚専門家向けの進歩的な学習プロセスとして設計されており、ノイズの多いデータから高品質のデータまで視覚的な知識を最大限に活用することを目的としています。
私たちのアプローチを検証するために、16 のベンチマークで広範な実験を実施しました。
実験結果は、6 つのマルチモーダル ベンチマークで最先端の MLLM と比較して Mono-InternVL のパフォーマンスが優れていること (たとえば、OCRBench で InternVL-1.5 より +113 ポイント) を検証するだけでなく、その導入効率の向上も確認しています。
トークンの遅延が最大 67% 削減されました。

要約(オリジナル)

The rapid advancement of Large Language Models (LLMs) has led to an influx of efforts to extend their capabilities to multimodal tasks. Among them, growing attention has been focused on monolithic Multimodal Large Language Models (MLLMs) that integrate visual encoding and language decoding into a single LLM. Despite the structural simplicity and deployment-friendliness, training a monolithic MLLM with promising performance still remains challenging. In particular, the popular approaches adopt continuous pre-training to extend a pre-trained LLM to a monolithic MLLM, which suffers from catastrophic forgetting and leads to performance degeneration. In this paper, we aim to overcome this limitation from the perspective of delta tuning. Specifically, our core idea is to embed visual parameters into a pre-trained LLM, thereby incrementally learning visual knowledge from massive data via delta tuning, i.e., freezing the LLM when optimizing the visual parameters. Based on this principle, we present Mono-InternVL, a novel monolithic MLLM that seamlessly integrates a set of visual experts via a multimodal mixture-of-experts structure. Moreover, we propose an innovative pre-training strategy to maximize the visual capability of Mono-InternVL, namely Endogenous Visual Pre-training (EViP). In particular, EViP is designed as a progressive learning process for visual experts, which aims to fully exploit the visual knowledge from noisy data to high-quality data. To validate our approach, we conduct extensive experiments on 16 benchmarks. Experimental results not only validate the superior performance of Mono-InternVL compared to the state-of-the-art MLLM on 6 multimodal benchmarks, e.g., +113 points over InternVL-1.5 on OCRBench, but also confirm its better deployment efficiency, with first token latency reduced by up to 67%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google