Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts

要約

線形注意、状態空間モデル、線形RNN、および混合物（MOE）などの線形シーケンスモデリング（LSM）が最近、大幅なアーキテクチャの改善として浮上しています。
この論文では、LSMをMOEと統合する大規模モデルをモデリングおよびトレーニングするための生産レベルのシステムであるLinear-Moeを紹介します。
線形MOEは、リニア複合シーケンスモデリング用の両方のLSMモジュールの利点と、まばらに活性化するためのMOE層を活用し、効率的なトレーニングで高性能を提供することを目指しています。
線形MOEシステムは、次のもので構成されています。1）モデリングサブシステムは、LSMのすべてのインスタンスをサポートする統一されたフレームワークを提供します。
2）トレーニングサブシステム。これは、さまざまな高度な並列性テクノロジー、特に線形モーイモデル向けに設計されたシーケンス並列性を組み込むことにより、効率的なトレーニングを促進します。
さらに、線形モーイ層と標準トランスモー層を組み合わせたハイブリッドモデルと、モデルの柔軟性とパフォーマンスをさらに高めるために、シーケンスの並列性を調べます。
A0.3B-2BとA1B-7Bの2つのモデルシリーズの評価は、線形MOEがさまざまなベンチマークで競争力のあるパフォーマンスを維持しながら、効率の向上を達成し、次世代の基礎モデルアーキテクチャとしての可能性を示しています。
コード：https：//github.com/opensparsellms/linear-moe。

要約(オリジナル)

Linear Sequence Modeling (LSM) like linear attention, state space models and linear RNNs, and Mixture-of-Experts (MoE) have recently emerged as significant architectural improvements. In this paper, we introduce Linear-MoE, a production-level system for modeling and training large-scale models that integrate LSM with MoE. Linear-MoE leverages the advantages of both LSM modules for linear-complexity sequence modeling and MoE layers for sparsely activation, aiming to offer high performance with efficient training. The Linear-MoE system comprises: 1) Modeling subsystem, which provides a unified framework supporting all instances of LSM. and 2) Training subsystem, which facilitates efficient training by incorporating various advanced parallelism technologies, particularly Sequence Parallelism designed for Linear-MoE models. Additionally, we explore hybrid models that combine Linear-MoE layers with standard Transformer-MoE layers with its Sequence Parallelism to further enhance model flexibility and performance. Evaluations on two model series, A0.3B-2B and A1B-7B, demonstrate Linear-MoE achieves efficiency gains while maintaining competitive performance on various benchmarks, showcasing its potential as a next-generation foundational model architecture. Code: https://github.com/OpenSparseLLMs/Linear-MoE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google