MiniMax-01: Scaling Foundation Models with Lightning Attention

要約

MiniMax-Text-01 および MiniMax-VL-01 を含む MiniMax-01 シリーズを紹介します。これらは、上位モデルと同等でありながら、より長いコンテキストの処理において優れた機能を提供します。
その核心は、驚くべき注目とその効率的なスケーリングにあります。
計算能力を最大化するために、それを Mixture of Experts (MoE) と統合し、32 人の専門家と 4,560 億の合計パラメーター (そのうち 459 億がトークンごとにアクティブ化される) を含むモデルを作成します。
私たちは、MoE とライトニング アテンションのための最適化された並列戦略と高効率の計算通信オーバーラップ技術を開発します。
このアプローチにより、数百万のトークンにわたるコンテキストにわたる数千億のパラメーターを備えたモデルに対して効率的なトレーニングと推論を実行できるようになります。
MiniMax-Text-01 のコンテキスト ウィンドウは、手頃なコストで、トレーニング中に最大 100 万トークンに達し、推論中に 400 万トークンまで推定できます。
当社のビジョン言語モデル MiniMax-VL-01 は、5,120 億のビジョン言語トークンを使用した継続的なトレーニングを通じて構築されています。
標準ベンチマークと社内ベンチマークの両方での実験により、当社のモデルは GPT-4o や Claude-3.5-Sonnet などの最先端モデルのパフォーマンスに匹敵し、20 ～ 32 倍長いコンテキスト ウィンドウを提供することがわかりました。
MiniMax-01 は https://github.com/MiniMax-AI で公開されています。

要約(オリジナル)

We introduce MiniMax-01 series, including MiniMax-Text-01 and MiniMax-VL-01, which are comparable to top-tier models while offering superior capabilities in processing longer contexts. The core lies in lightning attention and its efficient scaling. To maximize computational capacity, we integrate it with Mixture of Experts (MoE), creating a model with 32 experts and 456 billion total parameters, of which 45.9 billion are activated for each token. We develop an optimized parallel strategy and highly efficient computation-communication overlap techniques for MoE and lightning attention. This approach enables us to conduct efficient training and inference on models with hundreds of billions of parameters across contexts spanning millions of tokens. The context window of MiniMax-Text-01 can reach up to 1 million tokens during training and extrapolate to 4 million tokens during inference at an affordable cost. Our vision-language model, MiniMax-VL-01 is built through continued training with 512 billion vision-language tokens. Experiments on both standard and in-house benchmarks show that our models match the performance of state-of-the-art models like GPT-4o and Claude-3.5-Sonnet while offering 20-32 times longer context window. We publicly release MiniMax-01 at https://github.com/MiniMax-AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google