Layerwise Recurrent Router for Mixture-of-Experts

要約

大規模言語モデル (LLM) のスケーリングは、さまざまなタスクにおけるその機能に革命をもたらしましたが、この成長には効率的な計算戦略を合わせる必要があります。
Mixture-of-Experts (MoE) アーキテクチャは、トレーニング コストを大幅に増加させることなくモデル サイズを拡張できる点で際立っています。
これらの利点にもかかわらず、現在の MoE モデルではパラメータの非効率性がしばしば見られます。
たとえば、520 億個のパラメーターを備えた事前トレーニング済みの MoE ベースの LLM は、67 億個のパラメーターを備えた標準モデルと同等のパフォーマンスを発揮する可能性があります。
MoE の重要な部分であるため、さまざまなレイヤーの現在のルーターは、過去のルーティング情報を活用せずに個別にトークンを割り当てているため、最適ではないトークンとエキスパートの組み合わせやパラメーターの非効率性の問題が発生する可能性があります。
この問題を軽減するために、Mixture-of-Experts (RMoE) 用の Layerwise Recurrent Router を導入します。
RMoE は、ゲート付きリカレント ユニット (GRU) を利用して、連続するレイヤー全体のルーティング決定間の依存関係を確立します。
このような層ごとの反復は、入力トークンに対して効率的に並列計算でき、交渉可能なコストが導入されます。
私たちの広範な経験的評価により、RMoE ベースの言語モデルがさまざまなベースライン モデルよりも一貫して優れていることが実証されています。
さらに、RMoE は既存の方法とは直交する新しい計算ステージを統合し、他の MoE アーキテクチャとのシームレスな互換性を可能にします。
私たちの分析では、RMoE の利点は効果的なクロスレイヤー情報共有によるものであり、これにより専門家の選択と多様性も向上すると考えられます。
コードは https://github.com/qiuzh20/RMoE にあります。

要約(オリジナル)

The scaling of large language models (LLMs) has revolutionized their capabilities in various tasks, yet this growth must be matched with efficient computational strategies. The Mixture-of-Experts (MoE) architecture stands out for its ability to scale model size without significantly increasing training costs. Despite their advantages, current MoE models often display parameter inefficiency. For instance, a pre-trained MoE-based LLM with 52 billion parameters might perform comparably to a standard model with 6.7 billion parameters. Being a crucial part of MoE, current routers in different layers independently assign tokens without leveraging historical routing information, potentially leading to suboptimal token-expert combinations and the parameter inefficiency problem. To alleviate this issue, we introduce the Layerwise Recurrent Router for Mixture-of-Experts (RMoE). RMoE leverages a Gated Recurrent Unit (GRU) to establish dependencies between routing decisions across consecutive layers. Such layerwise recurrence can be efficiently parallelly computed for input tokens and introduces negotiable costs. Our extensive empirical evaluations demonstrate that RMoE-based language models consistently outperform a spectrum of baseline models. Furthermore, RMoE integrates a novel computation stage orthogonal to existing methods, allowing seamless compatibility with other MoE architectures. Our analyses attribute RMoE’s gains to its effective cross-layer information sharing, which also improves expert selection and diversity. Our code is at https://github.com/qiuzh20/RMoE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google