Scaling Laws for Fine-Grained Mixture of Experts

要約

Mixture of Experts (MoE) モデルは、大規模言語モデルの計算コストを削減するための主要なソリューションとして登場しました。
この研究では、拡張された範囲の変数を組み込んで、それらのスケーリング特性を分析します。
具体的には、新しいハイパーパラメータである粒度を導入し、その調整によりエキスパートのサイズを正確に制御できるようにします。
これに基づいて、トレーニング トークンの数、モデルのサイズ、粒度を考慮して、きめ細かい MoE のためのスケーリング則を確立します。
これらの法則を活用して、与えられた計算予算に対して最適なトレーニング構成を導き出します。
私たちの調査結果は、MoE モデルが一貫して密な Transformer よりも優れていることを示しているだけでなく、モデルのサイズとトレーニング予算をスケールアップするにつれて、密なモデルと MoE モデルの間の効率の差が拡大していることも強調しています。
さらに、フィードフォワード層を反映するために MoE の専門家の規模を設定するという一般的な方法は、ほぼすべての計算予算において最適ではないことを示します。

要約(オリジナル)

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google