XMoE: Sparse Models with Fine-grained and Adaptive Expert Selection

要約

スパース混合専門家 (MoE) モデルなどのスパース モデルは、Transformer モデルをスケーリングするための効果的なアプローチとして登場しました。
ただし、値にゼロまたは低い活性化値を乗算することにより、多数のパラメーターが計算に不必要に関与するため、計算効率が低下することがよくあります。
この問題に対処するために、疎な MoE モデルの有効性と効率の両方を強化するように設計された新しい MoE、\tool を紹介します。
\tool は、小規模な専門家としきい値ベースのルーターを活用して、トークンが重要なパラメーターのみを選択的に使用できるようにします。
言語モデリングと機械翻訳タスクに関する広範な実験により、\tool がパフォーマンスを犠牲にすることなく、MoE レイヤーでの計算負荷を 50\% 以上削減しながらモデルのパフォーマンスを向上できることが実証されました。
さらに、\tool を高密度モデルに適用することで、\tool の多用途性を示し、推論中の疎な計算を可能にします。
私たちは包括的な分析を提供し、コードを https://github.com/ysngki/XMoE で利用できるようにします。

要約(オリジナル)

Sparse models, including sparse Mixture-of-Experts (MoE) models, have emerged as an effective approach for scaling Transformer models. However, they often suffer from computational inefficiency since a significant number of parameters are unnecessarily involved in computations via multiplying values by zero or low activation values. To address this issue, we present \tool, a novel MoE designed to enhance both the efficacy and efficiency of sparse MoE models. \tool leverages small experts and a threshold-based router to enable tokens to selectively engage only essential parameters. Our extensive experiments on language modeling and machine translation tasks demonstrate that \tool can enhance model performance while decreasing the computation load at MoE layers by over 50\% without sacrificing performance. Furthermore, we present the versatility of \tool by applying it to dense models, enabling sparse computation during inference. We provide a comprehensive analysis and make our code available at https://github.com/ysngki/XMoE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google