LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin

要約

教師あり微調整 (SFT) は大規模言語モデル (LLM) にとって重要なステップであり、人間の指示に合わせて下流のタスクの機能を強化できるようになります。
命令データを大幅に増やすことは、モデルをより広範囲の下流タスクに合わせたり、特定のタスクでのパフォーマンスを著しく向上させたりするための直接的な解決策です。
しかし、命令データが大規模に増加すると、以前に LLM に保存されていた世界の知識が損傷を受ける可能性があることがわかりました。
この課題に対処するために、私たちは LoRAMoE を提案します。これは、Mixture of Experts (MoE) のプラグイン バージョンのように、いくつかの低ランク アダプター (LoRA) を導入し、ルーター ネットワークを使用してそれらを統合する新しいフレームワークです。
これによりバックボーン モデルが凍結され、一部の LoRA は世界の知識を活用して下流のタスクを解決することに集中し、世界の知識エッジの忘却を軽減します。
実験結果は、命令データが増加するにつれて、LoRAMoE が LLM に保存された世界の知識を維持しながら、下流のタスクを処理する能力を大幅に向上できることを示しています。

要約(オリジナル)

Supervised fine-tuning (SFT) is a crucial step for large language models (LLMs), enabling them to align with human instructions and enhance their capabilities in downstream tasks. Increasing instruction data substantially is a direct solution to align the model with a broader range of downstream tasks or notably improve its performance on a specific task. However, we find that large-scale increases in instruction data can damage the world knowledge previously stored in LLMs. To address this challenge, we propose LoRAMoE, a novelty framework that introduces several low-rank adapters (LoRA) and integrates them by using a router network, like a plugin version of Mixture of Experts (MoE). It freezes the backbone model and forces a portion of LoRAs to focus on leveraging world knowledge to solve downstream tasks, to alleviate world knowledge-edge forgetting. Experimental results show that, as the instruction data increases, LoRAMoE can significantly improve the ability to process downstream tasks, while maintaining the world knowledge stored in the LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google