Model Composition for Multimodal Large Language Models

要約

マルチモーダル大規模言語モデル (MLLM) の最近の開発は急速な進歩を示し、さまざまなモダリティからの入力を理解する多用途の MLLM を作成するという目標に向かって進んでいます。
ただし、既存の方法は通常、ペアになったマルチモーダルな指示データを使用した共同トレーニングに依存しているため、リソースを大量に消費し、新しいモダリティに拡張するのが困難です。
この論文では、既存の MLLM のモデル構成を通じて新しいパラダイムを提案し、元の各モデルのモーダル理解能力を保持した新しいモデルを作成します。
私たちの基本的な実装である NaiveMC は、モダリティ エンコーダーを再利用し、LLM パラメーターをマージすることによって、このパラダイムの有効性を実証します。
さらに、DAMC を導入して、マージ プロセス中のパラメーターの干渉と不一致の問題に対処し、それによってモデルのパフォーマンスを向上させます。
この分野の研究を促進するために、私たちは、多様なモダリティからの入力を理解するMLLMの能力を評価するためのベンチマークであるMCUBを提案します。
このベンチマークと他の 4 つのマルチモーダル理解タスクの実験では、ベースラインに比べて大幅な改善が見られ、モデルの合成によって複数のモダリティからの入力を処理できる汎用性の高いモデルを作成できることが証明されました。

要約(オリジナル)

Recent developments in Multimodal Large Language Models (MLLMs) have shown rapid progress, moving towards the goal of creating versatile MLLMs that understand inputs from various modalities. However, existing methods typically rely on joint training with paired multimodal instruction data, which is resource-intensive and challenging to extend to new modalities. In this paper, we propose a new paradigm through the model composition of existing MLLMs to create a new model that retains the modal understanding capabilities of each original model. Our basic implementation, NaiveMC, demonstrates the effectiveness of this paradigm by reusing modality encoders and merging LLM parameters. Furthermore, we introduce DAMC to address parameter interference and mismatch issues during the merging process, thereby enhancing the model performance. To facilitate research in this area, we propose MCUB, a benchmark for assessing ability of MLLMs to understand inputs from diverse modalities. Experiments on this benchmark and four other multimodal understanding tasks show significant improvements over baselines, proving that model composition can create a versatile model capable of processing inputs from multiple modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google