mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality

要約

タイトル：mPLUG-Owl：モジュール化による多次元言語モデルの多次元化

要約：

– 著者たちは、LLMsに多次元生成能力を備えたmPLUG-Owlというトレーニングパラダイムを紹介している。
– mPLUG-Owlは、マルチモーダル能力を備えたLLMsに多次元性をもたらすために、基礎的なLLM、ビジュアル知識モジュール、ビジュアルアブストラクタモジュールの3つのモジュールをモジュール化して学習する、新しいトレーニング手法である。
– このアプローチにより、複数のモダリティをサポートし、モダリティの協力を通じて異なるユニモーダルおよびマルチモーダル機能を促進することができる。
– mPLUG-Owlのトレーニングパラダイムは、画像とテキストを整列するための2段階の方法で構成されており、LLMをサポートしながらビジュアルの知識を学習し、LLMの生成能力を維持または改善することができる。
– このモデルは、既存のマルチモーダルモデルを上回る性能を持ち、印象的な指示およびビジュアル理解能力、多ターン会話能力、知識推論能力を示している。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive zero-shot abilities on a variety of open-ended tasks, while recent research has also explored the use of LLMs for multi-modal generation. In this study, we introduce mPLUG-Owl, a novel training paradigm that equips LLMs with multi-modal abilities through modularized learning of foundation LLM, a visual knowledge module, and a visual abstractor module. This approach can support multiple modalities and facilitate diverse unimodal and multimodal abilities through modality collaboration. The training paradigm of mPLUG-Owl involves a two-stage method for aligning image and text, which learns visual knowledge with the assistance of LLM while maintaining and even improving the generation abilities of LLM. In the first stage, the visual knowledge module and abstractor module are trained with a frozen LLM module to align the image and text. In the second stage, language-only and multi-modal supervised datasets are used to jointly fine-tune a low-rank adaption (LoRA) module on LLM and the abstractor module by freezing the visual knowledge module. We carefully build a visually-related instruction evaluation set OwlEval. Experimental results show that our model outperforms existing multi-modal models, demonstrating mPLUG-Owl’s impressive instruction and visual understanding ability, multi-turn conversation ability, and knowledge reasoning ability. Besides, we observe some unexpected and exciting abilities such as multi-image correlation and scene text understanding, which makes it possible to leverage it for harder real scenarios, such as vision-only document comprehension. Our code, pre-trained model, instruction-tuned models, and evaluation set are available at https://github.com/X-PLUG/mPLUG-Owl. The online demo is available at https://www.modelscope.cn/studios/damo/mPLUG-Owl.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI