Unlock the Power: Competitive Distillation for Multi-Modal Large Language Models

要約

最近、大規模言語モデル (LLM) に基づいた視覚的命令チューニングの利用を研究することにより、マルチモーダル コンテンツ生成が研究者から大きな注目を集めています。
このような LLM のパフォーマンスと一般化能力を強化するために、事前トレーニングされたマルチモーダル モデル (別名教師) からよりコンパクトなマルチモーダル LLM (生徒) に知識を抽出する実践がかなりの関心を集めています。
ただし、マルチモーダル LLM の知識蒸留における指導チューニングの一般的なパラダイムは、リソース集約的かつ一方向的であり、生徒モデルと教師モデル間の相互フィードバックの可能性を無視しています。
そこで、教師モデルと生徒モデル間の双方向フィードバックを取得し、生徒モデルが学習したマルチモーダル機能を継続的に更新する、革新的な競合マルチモーダル蒸留フレームワーク (CoMD) を提案します。
これは、マルチモーダル事前トレーニングとマルチモーダル競合蒸留の 2 つの段階で構成されます。
最初のステージでは、フィルタリングされた多数のマルチモーダル データセットで学生モデルを事前トレーニングします。
第 2 段階では、学生モデルと教師モデル間の双方向の知識伝達が容易になります。
多様なデータセットの実験的分析により、私たちの知識伝達方法が学生モデルの能力を一貫して向上させることが示されています。
最後に、4 回の蒸留後の 7B サイズのスチューデント モデルは、ScienceQA および LLaVA テスト データセットで現在の最先端モデル LLaVA-13B を上回り、ゼロショット設定でも他の強力なベースラインを上回りました。

要約(オリジナル)

Recently, multi-modal content generation has attracted lots of attention from researchers by investigating the utilization of visual instruction tuning based on large language models (LLMs). To enhance the performance and generalization ability of such LLMs, the practice of distilling knowledge from pretrained multi-modal models (a.k.a. teachers) to more compact multi-modal LLMs (students) has gained considerable interest. However, the prevailing paradigm of instructiontuning in multi-modal LLMs knowledge distillation is resource-intensive and unidirectional, neglecting the potential for mutual feedback between the student and teacher models. Thus, we propose an innovative Competitive Multi-modal Distillation framework (CoMD), which captures bidirectional feedback between teacher and student models and continually updates the multi-modal capabilities that the student model has learned. It comprises two stages: multi-modal pre-training and multi-modal competitive distillation. The first stage pre-trains the student model on a large number of filtered multi-modal datasets. The second stage facilitates a bidirectional knowledge transfer between the student and teacher models. Our experimental analysis of diverse datasets shows that our knowledge transfer method consistently improves the capabilities of the student model. Finally, the 7B-sized student model after four distillations surpassed the current state-of-the-art model LLaVA-13B on the ScienceQA and LLaVA Test dataset, also outperforms other strong baselines in the zero-shot setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google