Microscaling Data Formats for Deep Learning

要約

狭いビット幅のデータ形式は、最新の深層学習アプリケーションの計算コストとストレージ コストを削減する鍵となります。
このペーパーでは、ブロックごとのスケーリング係数と、個々の要素の狭い浮動小数点型および整数型を組み合わせたマイクロスケーリング (MX) データ形式を評価します。MX 形式は、ハードウェア効率、モデル精度、およびユーザーの摩擦という競合するニーズのバランスをとります。
20 を超えるベンチマークの実証結果は、ユーザーの負担が少ない AI 推論とトレーニングのための、ベースライン FP32 のドロップイン代替品としての MX データ形式の実用性を示しています。
また、精度の低下を最小限に抑え、トレーニング レシピに変更を加えずに、サブ 8 ビットの重み、アクティベーション、勾配で生成言語モデルをトレーニングする最初の例も示します。

要約(オリジナル)

Narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements.MX formats balance the competing needs of hardware efficiency, model accuracy, and user friction. Empirical results on over two dozen benchmarks demonstrate practicality of MX data formats as a drop-in replacement for baseline FP32 for AI inference and training with low user friction. We also show the first instance of training generative language models at sub-8-bit weights, activations, and gradients with minimal accuracy loss and no modifications to the training recipe.

arxiv情報

著者 Bita Darvish Rouhani,Ritchie Zhao,Ankit More,Mathew Hall,Alireza Khodamoradi,Summer Deng,Dhruv Choudhary,Marius Cornea,Eric Dellinger,Kristof Denolf,Stosic Dusan,Venmugil Elango,Maximilian Golub,Alexander Heinecke,Phil James-Roxby,Dharmesh Jani,Gaurav Kolhe,Martin Langhammer,Ada Li,Levi Melnick,Maral Mesmakhosroshahi,Andres Rodriguez,Michael Schulte,Rasoul Shafipour,Lei Shao,Michael Siu,Pradeep Dubey,Paulius Micikevicius,Maxim Naumov,Colin Verilli,Ralph Wittig,Eric Chung
発行日 2023-10-16 16:07:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG パーマリンク