Imp: Highly Capable Large Multimodal Models for Mobile Devices

要約

大規模言語モデル (LLM) の機能を利用することにより、最近の大規模マルチモーダル モデル (LMM) は、オープンワールドのマルチモーダル理解において驚くべき多用途性を示しています。
それにもかかわらず、これらは通常、パラメータが多く、計算集約的であるため、リソースに制約のあるシナリオへの適用性が妨げられます。
この目的を達成するために、制約されたスケール (例: 3B) の下で機能を最大化するために、いくつかの軽量 LMM が次々に提案されてきました。
これらの方法によって達成される有望な結果にもかかわらず、そのほとんどは設計空間の 1 つまたは 2 つの側面にのみ焦点を当てており、モデルの機能に影響を与える重要な設計の選択はまだ徹底的に調査されていません。
この論文では、モデルアーキテクチャ、トレーニング戦略、トレーニングデータの側面から軽量LMMの体系的な研究を行います。
私たちの調査結果に基づいて、2B ～ 4B スケールの非常に有能な LMM ファミリーである Imp を取得しました。
特に、当社の Imp-3B モデルは、同様のサイズの既存のすべての軽量 LMM を確実に上回り、13B スケールでは最先端の LMM をも上回っています。
低ビット量子化と解像度低減技術により、当社の Imp モデルは、約 13 トークン/秒の高い推論速度で Qualcomm Snapdragon 8Gen3 モバイル チップに展開できます。

要約(オリジナル)

By harnessing the capabilities of large language models (LLMs), recent large multimodal models (LMMs) have shown remarkable versatility in open-world multimodal understanding. Nevertheless, they are usually parameter-heavy and computation-intensive, thus hindering their applicability in resource-constrained scenarios. To this end, several lightweight LMMs have been proposed successively to maximize the capabilities under constrained scale (e.g., 3B). Despite the encouraging results achieved by these methods, most of them only focus on one or two aspects of the design space, and the key design choices that influence model capability have not yet been thoroughly investigated. In this paper, we conduct a systematic study for lightweight LMMs from the aspects of model architecture, training strategy, and training data. Based on our findings, we obtain Imp — a family of highly capable LMMs at the 2B-4B scales. Notably, our Imp-3B model steadily outperforms all the existing lightweight LMMs of similar size, and even surpasses the state-of-the-art LMMs at the 13B scale. With low-bit quantization and resolution reduction techniques, our Imp model can be deployed on a Qualcomm Snapdragon 8Gen3 mobile chip with a high inference speed of about 13 tokens/s.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google