With Shared Microexponents, A Little Shifting Goes a Long Way

要約

タイトル：共有マイクロ指数による微調整の効果の拡大

要約：
– Block Data Representations（BDR）というフレームワークが、深層学習の広範なナロープレシジョンフォーマットを調べたり評価するために紹介された。
– 人気のある量子化標準を比較することができ、BDRを通じて、共有マイクロ指数（MX）に基づく新しいフォーマットが識別された。この新しいフォーマットは、ナロープレシジョン浮動小数点およびブロック浮動小数点を含む他の最新の量子化アプローチを上回った。
– MXは、ハードウェア内で共有されたマイクロ指数に基づく超細かいスケーリング因子を用いた、複数レベルの量子化スケーリングを利用する。
– MXの効果は、大規模な生成事前学習と推論、および生産規模のレコメンデーションシステムなどの実世界のモデルで示された。

要約(オリジナル)

This paper introduces Block Data Representations (BDR), a framework for exploring and evaluating a wide spectrum of narrow-precision formats for deep learning. It enables comparison of popular quantization standards, and through BDR, new formats based on shared microexponents (MX) are identified, which outperform other state-of-the-art quantization approaches, including narrow-precision floating-point and block floating-point. MX utilizes multiple levels of quantization scaling with ultra-fine scaling factors based on shared microexponents in the hardware. The effectiveness of MX is demonstrated on real-world models including large-scale generative pretraining and inferencing, and production-scale recommendation systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI