Mipha: A Comprehensive Overhaul of Multimodal Assistant with Small Language Models

要約

マルチモーダル大規模言語モデル (MLLM) は、視覚的な理解と推論に関連するタスクにおいて優れたスキルを発揮してきました。
しかし、その広範な応用は、トレーニング段階と推論段階の両方で高い計算量が要求されるため障害に直面しており、その使用は研究コミュニティやユーザー コミュニティ内の限られた対象者に限定されています。
この論文では、マルチモーダル小型言語モデル (MSLM) の設計側面を調査し、視覚表現、言語モデル、最適化戦略などのさまざまな側面の間で相乗効果を生み出すように設計された、Mipha という名前の効率的なマルチモーダル アシスタントを提案します。
トレーニング データの量を増やさずに、Mipha-3B が複数のベンチマークで最先端の大規模 MLLM、特に LLaVA-1.5-13B よりも優れたパフォーマンスを発揮することを示します。
詳細な議論を通じて、MLLM の機能に匹敵する強力な MSLM を開発するための洞察とガイドラインを提供します。
私たちのコードは https://github.com/zhuyiche/llava-phi で入手できます。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) have showcased impressive skills in tasks related to visual understanding and reasoning. Yet, their widespread application faces obstacles due to the high computational demands during both the training and inference phases, restricting their use to a limited audience within the research and user communities. In this paper, we investigate the design aspects of Multimodal Small Language Models (MSLMs) and propose an efficient multimodal assistant named Mipha, which is designed to create synergy among various aspects: visual representation, language models, and optimization strategies. We show that without increasing the volume of training data, our Mipha-3B outperforms the state-of-the-art large MLLMs, especially LLaVA-1.5-13B, on multiple benchmarks. Through detailed discussion, we provide insights and guidelines for developing strong MSLMs that rival the capabilities of MLLMs. Our code is available at https://github.com/zhuyiche/llava-phi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google