Mixture of Routers

要約

監視された微調整（SFT）は、大規模な言語モデルを人間の指示に合わせて、ダウンストリームタスクに適応させるマイルストーンです。
特に、低ランク適応（LORA）は、そのパラメーター効率により、広範囲にわたる注目を集めています。
ただし、大規模なモデルのパフォーマンスの向上への影響は依然として限られています。
最近の研究では、LORAと混合物（MOE）を組み合わせることで、微調整性能が大幅に向上することが示唆されています。
MOEは、最も適切な専門家を動的に選択することにより、データセットの多様性と複雑さに適応し、それによりタスクの精度と効率を向上させます。
印象的な結果にもかかわらず、最近の研究は、誤った割り当てや不均衡な専門家の割り当てなど、MOEルーティングメカニズムの問題を明らかにしています。
冗長性とフォールトトレランス理論の原則に触発されました。
専門家の混合の概念をルーティングメカニズムに革新的に統合し、ルーターの混合物（MOR）と呼ばれる効率的な微調整方法を提案します。
関節選択に複数のサブルーターを使用し、学習可能なメインルーターを使用してサブルーターの重みを決定します。
結果は、MORがほとんどのタスクでベースラインモデルを上回り、1％の平均パフォーマンス改善を達成することを示しています。
MORは、幅広いアプリケーションに適したプラグアンドプレイのパラメーター効率の高い微調整方法として機能します。
私たちのコードはこちらから入手できます：https：//anonymous.4open.science/r/mor-dfc6。

要約(オリジナル)

Supervised fine-tuning (SFT) is a milestone in aligning large language models with human instructions and adapting them to downstream tasks. In particular, Low-Rank Adaptation (LoRA) has gained widespread attention due to its parameter efficiency. However, its impact on improving the performance of large models remains limited. Recent studies suggest that combining LoRA with Mixture-of-Experts (MoE) can significantly enhance fine-tuning performance. MoE adapts to the diversity and complexity of datasets by dynamically selecting the most suitable experts, thereby improving task accuracy and efficiency. Despite impressive results, recent studies reveal issues in the MoE routing mechanism, such as incorrect assignments and imbalanced expert allocation. Inspired by the principles of Redundancy and Fault Tolerance Theory. We innovatively integrate the concept of Mixture of Experts into the routing mechanism and propose an efficient fine-tuning method called Mixture of Routers (MoR). It employs multiple sub-routers for joint selection and uses a learnable main router to determine the weights of the sub-routers. The results show that MoR outperforms baseline models on most tasks, achieving an average performance improvement of 1%. MoR can serve as a plug-and-play, parameter-efficient fine-tuning method suitable for a wide range of applications. Our code is available here: https://anonymous.4open.science/r/MoR-DFC6.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google