MiLo: Efficient Quantized MoE Inference with Mixture of Low-Rank Compensators

要約

膨大なパラメータを持つMoE（Mixture-of-Experts）モデルを効率的に展開するための重要なアプローチは量子化である。しかし、最先端のMoEモデルは、4ビット以下のような極端な量子化では無視できない精度の低下に悩まされる。この問題に対処するために、我々はMiLoを導入する。MiLoは、高度に量子化されたMoEを、低ランク補償器の混合で補強する新しい手法である。これらの補償器は、わずかな追加メモリしか消費しませんが、極端な量子化による精度損失を大幅に回復します。MiLoはまた、密と疎のハイブリッドアーキテクチャにより、MoEモデルが重みごとに特徴的な特性を示すことを特定し、精度のギャップを埋めるために反復最適化とともに適応的なランク選択ポリシーを採用しています。MiLoはキャリブレーションデータに依存しないため、キャリブレーションセットにオーバーフィットすることなく、異なるMoEモデルやデータセットに一般化することができます。3ビットのような極端な量子化によるハードウェアの非効率性を回避するため、MiLoはTensor Coreに適した3ビットカーネルを開発し、3ビット量子化MoEモデルで測定された待ち時間の高速化を可能にしています。我々の評価では、MiLoは様々なタスクにおいて、SoTA MoEモデルで既存の手法を凌駕しています。

要約(オリジナル)

A critical approach for efficiently deploying Mixture-of-Experts (MoE) models with massive parameters is quantization. However, state-of-the-art MoE models suffer from non-negligible accuracy loss with extreme quantization, such as under 4 bits. To address this, we introduce MiLo, a novel method that augments highly quantized MoEs with a mixture of low-rank compensators. These compensators consume only a small amount of additional memory but significantly recover accuracy loss from extreme quantization. MiLo also identifies that MoEmodels exhibit distinctive characteristics across weights due to their hybrid dense-sparse architectures, and employs adaptive rank selection policies along with iterative optimizations to close the accuracy gap. MiLo does not rely on calibration data, allowing it to generalize to different MoE models and datasets without overfitting to a calibration set. To avoid the hardware inefficiencies of extreme quantization, such as 3-bit, MiLo develops Tensor Core-friendly 3-bit kernels, enabling measured latency speedups on 3-bit quantized MoE models. Our evaluation shows that MiLo outperforms existing methods on SoTA MoE models across various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL