Ascend HiFloat8 Format for Deep Learning

要約

この予備的なホワイトペーパーでは、深層学習用の新しい 8 ビット浮動小数点データ形式 HiFloat8 (略称 HiF8) を提案します。
HiF8 はテーパー精度が特徴です。
通常の値のエンコードでは、3 ビットの仮数を持つ 7 つの指数値、2 ビットの仮数を持つ 8 つの指数値、および 1 ビットの仮数を持つ 16 つの指数値が提供されます。
デノーマル値エンコーディングの場合、ダイナミック レンジを 2 の 7 乗分だけ拡張し、31 ビネードから 38 ビネードに拡張します (FP16 は 40 ビネードをカバーすることに注意してください)。
一方、HiF8 は、正のゼロと負のゼロが 1 つのビット パターンのみで表されることを除き、すべての特殊な値をエンコードします。
精度とダイナミック レンジのバランスが優れているため、HiF8 は AI トレーニングの前方パスと後方パスの両方で同時に使用できます。
この論文では、HiF8 の定義と丸め方法、および暫定的なトレーニングと推論の解決策について説明します。
HiF8 の有効性を実証するために、従来のニューラル ネットワークや大規模言語モデル (LLM) を含むさまざまなニューラル ネットワークに関する大規模なシミュレーション結果も提示されます。

要約(オリジナル)

This preliminary white paper proposes a novel 8-bit floating-point data format HiFloat8 (abbreviated as HiF8) for deep learning. HiF8 features tapered precision. For normal value encoding, it provides 7 exponent values with 3-bit mantissa, 8 exponent values with 2-bit mantissa, and 16 exponent values with 1-bit mantissa. For denormal value encoding, it extends the dynamic range by 7 extra powers of 2, from 31 to 38 binades (notice that FP16 covers 40 binades). Meanwhile, HiF8 encodes all the special values except that positive zero and negative zero are represented by only one bit-pattern. Thanks to the better balance between precision and dynamic range, HiF8 can be simultaneously used in both forward and backward passes of AI training. In this paper, we will describe the definition and rounding methods of HiF8, as well as the tentative training and inference solutions. To demonstrate the efficacy of HiF8, massive simulation results on various neural networks, including traditional neural networks and large language models (LLMs), will also be presented.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google