Faster MoE LLM Inference for Extremely Large Models

要約

専門家（MOE）の大規模な言語モデル（LLM）のまばらな混合物は、徐々に超大型スケールモデルの主流のアプローチになりつつあります。
MOEモデルの既存の最適化の取り組みは、主に粗粒のMOEアーキテクチャに焦点を当てています。
Deepseekモデルの出現により、きめ細かいMOEモデルは人気を集めていますが、それらに関する研究は依然として限られています。
したがって、さまざまなサービス負荷の下で効率の動的について説明したいと思います。
さらに、微細なモデルにより、展開者は、活性化されたカウントと総カウントの両方で、ルーティングされた専門家の数を減らすことができ、この削減がMOEの効率とパフォーマンスのトレードオフにどのように影響するかという疑問を提起することができます。
私たちの調査結果は、MOEモデルを展開することはより大きな課題を提示する一方で、重要な最適化の機会も提供することを示しています。
活性化された専門家の数を減らすと、特定のシナリオの効率が大幅に改善され、パフォーマンスの劣化はわずかです。
専門家の総数を減らすと、効率が限られているが、重度の性能劣化をもたらします。
私たちの方法は、パフォーマンスの劣化なしに、スループットを少なくとも10 \％増加させることができます。
全体として、MOEの推論の最適化は、探査と改善の可能性のある領域のままであると結論付けています。

要約(オリジナル)

Sparse Mixture of Experts (MoE) large language models (LLMs) are gradually becoming the mainstream approach for ultra-large-scale models. Existing optimization efforts for MoE models have focused primarily on coarse-grained MoE architectures. With the emergence of DeepSeek Models, fine-grained MoE models are gaining popularity, yet research on them remains limited. Therefore, we want to discuss the efficiency dynamic under different service loads. Additionally, fine-grained models allow deployers to reduce the number of routed experts, both activated counts and total counts, raising the question of how this reduction affects the trade-off between MoE efficiency and performance. Our findings indicate that while deploying MoE models presents greater challenges, it also offers significant optimization opportunities. Reducing the number of activated experts can lead to substantial efficiency improvements in certain scenarios, with only minor performance degradation. Reducing the total number of experts provides limited efficiency gains but results in severe performance degradation. Our method can increase throughput by at least 10\% without any performance degradation. Overall, we conclude that MoE inference optimization remains an area with substantial potential for exploration and improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google