mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality

要約

大規模言語モデル (LLM) は、さまざまなオープンエンド タスクで優れたゼロショット能力を実証しており、最近の研究ではマルチモーダル生成への LLM の使用も検討されています。
この研究では、基礎LLM、視覚的知識モジュール、および視覚的抽象化モジュールのモジュール化された学習を通じてLLMにマルチモーダルな能力を装備する新しいトレーニングパラダイムであるmPLUG-Owlを紹介します。
このアプローチは、複数のモダリティをサポートし、モダリティの連携を通じて多様な単一モーダルおよびマルチモーダルの能力を促進できます。
mPLUG-Owl のトレーニング パラダイムには、画像とテキストを位置合わせするための 2 段階の方法が含まれており、LLM の生成能力を維持し、さらには向上させながら、LLM の支援を受けて視覚的な知識を学習します。
最初の段階では、ビジュアル ナレッジ モジュールとアブストラクタ モジュールが、画像とテキストを位置合わせするためにフリーズされた LLM モジュールを使用してトレーニングされます。
第 2 段階では、言語のみのマルチモーダル教師ありデータセットを使用して、視覚的知識モジュールをフリーズすることで、LLM の低ランク適応 (LoRA) モジュールとアブストラクター モジュールを共同で微調整します。
視覚に関連した命令評価セット OwlEval を慎重に構築します。
実験結果は、私たちのモデルが既存のマルチモーダルモデルよりも優れており、mPLUG-Owlの優れた指示と視覚理解能力、マルチターン会話能力、および知識推論能力を実証していることを示しています。
さらに、複数の画像の関連付けやシーンのテキスト理解など、予期せぬエキサイティングな能力も観察されており、これにより、視覚のみでの文書理解など、より困難な実際のシナリオに活用することが可能になります。
私たちのコード、事前トレーニングされたモデル、命令調整されたモデル、および評価セットは、https://github.com/X-PLUG/mPLUG-Owl で入手できます。
オンライン デモは https://www.modelscope.cn/studios/damo/mPLUG-Owl で利用できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive zero-shot abilities on a variety of open-ended tasks, while recent research has also explored the use of LLMs for multi-modal generation. In this study, we introduce mPLUG-Owl, a novel training paradigm that equips LLMs with multi-modal abilities through modularized learning of foundation LLM, a visual knowledge module, and a visual abstractor module. This approach can support multiple modalities and facilitate diverse unimodal and multimodal abilities through modality collaboration. The training paradigm of mPLUG-Owl involves a two-stage method for aligning image and text, which learns visual knowledge with the assistance of LLM while maintaining and even improving the generation abilities of LLM. In the first stage, the visual knowledge module and abstractor module are trained with a frozen LLM module to align the image and text. In the second stage, language-only and multi-modal supervised datasets are used to jointly fine-tune a low-rank adaption (LoRA) module on LLM and the abstractor module by freezing the visual knowledge module. We carefully build a visually-related instruction evaluation set OwlEval. Experimental results show that our model outperforms existing multi-modal models, demonstrating mPLUG-Owl’s impressive instruction and visual understanding ability, multi-turn conversation ability, and knowledge reasoning ability. Besides, we observe some unexpected and exciting abilities such as multi-image correlation and scene text understanding, which makes it possible to leverage it for harder real scenarios, such as vision-only document comprehension. Our code, pre-trained model, instruction-tuned models, and evaluation set are available at https://github.com/X-PLUG/mPLUG-Owl. The online demo is available at https://www.modelscope.cn/studios/damo/mPLUG-Owl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google