MH-MoE: Multi-Head Mixture-of-Experts

要約

マルチヘッド専門家混合 (MH-MoE) は、マルチヘッド メカニズムを使用して、さまざまな専門家のさまざまな表現空間からの情報を集合的に処理することにより、優れたパフォーマンスを示します。
この論文では、疎な専門家混合モデルで FLOP とパラメータのパリティの両方を維持する MH-MoE の新しい実装を紹介します。
言語モデルに関する実験結果は、新しい実装によりバニラ MoE モデルときめ細かい MoE モデルの両方に比べて品質が向上することを示しています。
さらに、私たちの実験では、MH-MoE が BitNet などの 1 ビットラージ言語モデル (LLM) と互換性があることを示しています。

要約(オリジナル)

Multi-Head Mixture-of-Experts (MH-MoE) demonstrates superior performance by using the multi-head mechanism to collectively attend to information from various representation spaces within different experts. In this paper, we present a novel implementation of MH-MoE that maintains both FLOPs and parameter parity with sparse Mixture of Experts models. Experimental results on language models show that the new implementation yields quality improvements over both vanilla MoE and fine-grained MoE models. Additionally, our experiments demonstrate that MH-MoE is compatible with 1-bit Large Language Models (LLMs) such as BitNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google