The Art of Balancing: Revolutionizing Mixture of Experts for Maintaining World Knowledge in Language Model Alignment

要約

教師あり微調整 (SFT) は大規模言語モデル (LLM) にとって重要なステップであり、人間の指示に合わせて下流のタスクの機能を強化できるようになります。
モデルをより広範囲の下流タスクに合わせる必要がある場合、または特定のタスクのパフォーマンスを大幅に向上させたい場合、多くの場合、微調整データの大幅な増加が解決策として現れます。
しかし、命令データが大規模に増加すると、LLM に以前に保存されていた世界の知識が破壊される、つまり世界の知識が忘却される可能性があることがわかりました。
このペーパーでは、上記の課題に対処するために LoRAMoE を紹介します。
LoRAMoE は、Mixture of Experts (MoE) のプラグイン バージョンです。
プラグイン形式は、トレーニング段階でバックボーン モデルをフリーズすることにより、世界の知識の整合性を保証します。
そして、局所的なバランシング制約を使用して、タスク利用のために専門家の一部を調整し、同時に他の専門家がモデルに保存された世界の知識を十分に活用できるようにすることを提案します。
実験結果は、LoRAMoE が推論中にデータ タイプに基づいて専門家を合理的に調整できること、および命令データが大幅に増加しても知識の忘却が発生しないことを示しています。
さらに、LoRAMoE は下流タスクのパフォーマンスにさらなる利点をもたらし、マルチタスク学習に対する私たちのアプローチの可能性を示しています。

要約(オリジナル)

Supervised fine-tuning (SFT) is a crucial step for large language models (LLMs), enabling them to align with human instructions and enhance their capabilities in downstream tasks. When the models are required to align with a broader range of downstream tasks, or there is a desire to notably improve the performance on a specific task, a substantial increase in fine-tuning data often emerges as the solution. However, we find that large-scale increases in instruction data can disrupt the world knowledge previously stored in the LLMs, i.e., world knowledge forgetting. In this paper, we introduce LoRAMoE to address above challenge. The LoRAMoE is a plugin version of Mixture of Experts (MoE). The plugin-form ensures the integrity of world knowledge by freezing the backbone model during the training phase. And we propose the use of localized balancing constraints to coordinate parts of experts for task utilization, meanwhile enables other experts to to fully leverage the world knowledge stored in the models. Experimental results demonstrate that LoRAMoE can reasonly coordinate experts based on data type during inference, and even dramatically increasing instruction data does not result in knowledge forgetting. Moreover, LoRAMoE provides additional benefits for the performance of downstream tasks, indicating the potential of our approach for multi-task learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google