Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference

要約

トランスフォーマーに基づく大規模言語モデル (LLM) は近年大幅な進歩を遂げており、その成功はモデル サイズのスケールアップによって推進されています。
LLM の高いアルゴリズム パフォーマンスにもかかわらず、LLM の計算要件とメモリ要件には前例のない課題が存在します。
LLM の高い計算要件に対処するために、計算要件を比例的に拡大することなくモデルのサイズを拡張できる、Mixture-of-Experts (MoE) アーキテクチャが導入されました。
残念ながら、MoE は高いメモリ要求と少数の専門家の動的なアクティブ化により、現実世界の問題への適用が制限されます。
MoE のメモリを大量に消費するエキスパート パラメータを CPU メモリにオフロードする以前のソリューションでは、アクティブ化されたエキスパートを CPU から GPU に移行するための待ち時間により高いパフォーマンスのオーバーヘッドが発生するため、不十分です。
私たちが提案するプレゲート MoE システムは、アルゴリズムとシステムの共同設計を使用して、従来の MoE アーキテクチャのコンピューティングとメモリの課題に効果的に取り組みます。
プレゲート MoE は、スパース エキスパート アクティベーションの動的な性質を軽減する新しいプレゲート機能を採用しており、これにより、私たちが提案するシステムは、高いパフォーマンスを達成しながら、MoE の大きなメモリ フットプリントに対処できるようになります。
Pre-gated MoE が同じレベルのモデル品質を維持しながら、パフォーマンスを向上させ、GPU メモリ消費量を削減できることを実証します。
これらの機能により、当社のプレゲート MoE システムは、高性能の 1 つの GPU のみを使用して大規模な LLM をコスト効率よく展開できます。

要約(オリジナル)

Large language models (LLMs) based on transformers have made significant strides in recent years, the success of which is driven by scaling up their model size. Despite their high algorithmic performance, the computational and memory requirements of LLMs present unprecedented challenges. To tackle the high compute requirements of LLMs, the Mixture-of-Experts (MoE) architecture was introduced which is able to scale its model size without proportionally scaling up its computational requirements. Unfortunately, MoE’s high memory demands and dynamic activation of sparse experts restrict its applicability to real-world problems. Previous solutions that offload MoE’s memory-hungry expert parameters to CPU memory fall short because the latency to migrate activated experts from CPU to GPU incurs high performance overhead. Our proposed Pre-gated MoE system effectively tackles the compute and memory challenges of conventional MoE architectures using our algorithm-system co-design. Pre-gated MoE employs our novel pre-gating function which alleviates the dynamic nature of sparse expert activation, allowing our proposed system to address the large memory footprint of MoEs while also achieving high performance. We demonstrate that Pre-gated MoE is able to improve performance, reduce GPU memory consumption, while also maintaining the same level of model quality. These features allow our Pre-gated MoE system to cost-effectively deploy large-scale LLMs using just a single GPU with high performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google