Magistral

要約

Mistralの最初の推論モデル、および独自のスケーラブルな強化学習（RL）パイプラインを紹介します。
以前のモデルから蒸留された既存の実装とRLトレースに依存する代わりに、独自のモデルとインフラストラクチャのみに依存するゼロアップアプローチに従います。
特に、LLMの純粋なRLトレーニングの限界を調査し、モデルの推論言語を強制する簡単な方法を提示し、テキストデータのRLだけが初期チェックポイントの機能のほとんどを維持することを示すスタックを実証します。
テキスト上のRLは、マルチモーダルの理解、指示のフォロー、および関数呼び出しを維持または改善することがわかります。
Mistral Medium 3の上にRLのみを備えた推論のために訓練されているMagistral Mediumを提示し、Matistral Mediumからのコールドスタートデータをさらに含むオープンソースのMagistral Small（Apache 2.0）を紹介します。

要約(オリジナル)

We introduce Magistral, Mistral’s first reasoning model and our own scalable reinforcement learning (RL) pipeline. Instead of relying on existing implementations and RL traces distilled from prior models, we follow a ground up approach, relying solely on our own models and infrastructure. Notably, we demonstrate a stack that enabled us to explore the limits of pure RL training of LLMs, present a simple method to force the reasoning language of the model, and show that RL on text data alone maintains most of the initial checkpoint’s capabilities. We find that RL on text maintains or improves multimodal understanding, instruction following and function calling. We present Magistral Medium, trained for reasoning on top of Mistral Medium 3 with RL alone, and we open-source Magistral Small (Apache 2.0) which further includes cold-start data from Magistral Medium.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google