Microscaling Data Formats for Deep Learning

要約

狭いビット幅のデータ形式は、最新の深層学習アプリケーションの計算コストとストレージ コストを削減する鍵となります。
このペーパーでは、ブロックごとのスケーリング係数と、個々の要素の狭い浮動小数点および整数型を組み合わせたマイクロスケーリング (MX) データ形式を評価します。
MX フォーマットは、ハードウェアの効率、モデルの精度、ユーザーの負担といった競合するニーズのバランスをとります。
20 を超えるベンチマークの実証結果は、ユーザーの負担が少ない AI 推論とトレーニングのための、ベースライン FP32 のドロップイン代替品としての MX データ形式の実用性を示しています。
また、精度の低下を最小限に抑え、トレーニング レシピに変更を加えずに、サブ 8 ビットの重み、アクティベーション、勾配で生成言語モデルをトレーニングする最初の例も示します。

要約(オリジナル)

Narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements. MX formats balance the competing needs of hardware efficiency, model accuracy, and user friction. Empirical results on over two dozen benchmarks demonstrate practicality of MX data formats as a drop-in replacement for baseline FP32 for AI inference and training with low user friction. We also show the first instance of training generative language models at sub-8-bit weights, activations, and gradients with minimal accuracy loss and no modifications to the training recipe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google