Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models

要約

推論時間スケーリングが強化された推論機能に重要になるため、推測するのが効率的なモデルを構築することがますます重要になっています。
特定の精度レベルの推論コストを削減するために設計された8Bおよび56B/47BハイブリッドマンバトランスフォーマーモデルのファミリーであるNemotron-Hを紹介します。
この目標を達成するために、一般的な変圧器モデルアーキテクチャの自己関節層の大部分を、一定の計算を実行し、生成されたトークンごとに一定のメモリを必要とするMAMBA層に置き換えます。
Nemotron-Hモデルは、他の同様のサイズの最先端のオープンソーストランスモデル（例：Qwen-2.5-7b/72bおよびllama-3.1-8b/70b）と比較して、より優れた精度または標準の精度を提供し、最大3 $ \ times $ $ faster at in at at at at at at at at a a a a a a a a a a a a a a a a a a a a a a a a spect at
推論の速度をさらに高め、推論時間に必要なメモリを減らすために、MiniPuzzleと呼ばれる剪定および蒸留技術を介した新しい圧縮を使用して、56BモデルからNemotron-H-47Bベースを作成しました。
Nemotron-H-47b-baseは、56Bモデルと同様の精度を達成しますが、推測するのが20％高速です。
さらに、FP8ベースのトレーニングレシピを導入し、BF16ベースのトレーニングでPAR結果で達成できることを示します。
このレシピは、56Bモデルのトレーニングに使用されます。
FaceとNemoを抱き締めるのをサポートして、Nemotron-Hベースモデルのチェックポイントをリリースしています。

要約(オリジナル)

As inference-time scaling becomes critical for enhanced reasoning capabilities, it is increasingly becoming important to build models that are efficient to infer. We introduce Nemotron-H, a family of 8B and 56B/47B hybrid Mamba-Transformer models designed to reduce inference cost for a given accuracy level. To achieve this goal, we replace the majority of self-attention layers in the common Transformer model architecture with Mamba layers that perform constant computation and require constant memory per generated token. We show that Nemotron-H models offer either better or on-par accuracy compared to other similarly-sized state-of-the-art open-sourced Transformer models (e.g., Qwen-2.5-7B/72B and Llama-3.1-8B/70B), while being up to 3$\times$ faster at inference. To further increase inference speed and reduce the memory required at inference time, we created Nemotron-H-47B-Base from the 56B model using a new compression via pruning and distillation technique called MiniPuzzle. Nemotron-H-47B-Base achieves similar accuracy to the 56B model, but is 20% faster to infer. In addition, we introduce an FP8-based training recipe and show that it can achieve on par results with BF16-based training. This recipe is used to train the 56B model. We are releasing Nemotron-H base model checkpoints with support in Hugging Face and NeMo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google