Accuracy Boosters: Epoch-Driven Mixed-Mantissa Block Floating-Point for DNN Training

要約

DNN モデルの複雑さ、サイズ、トレーニング データの量が前例のないほど増加しているため、コンピューティングに対する需要もそれに応じて増大し、最小限のエンコーディングが求められています。
最近の研究では、トレーニング中の算術演算の大部分を 8 ビット固定小数点に変換することで、アクセラレータでのシリコン プロビジョニングを最小限に抑えるハイブリッド ブロック浮動小数点 (HBFP) が提唱されています。
この論文では、数学的ツールを使用して HBFP 設計空間の本格的な調査を実行し、さまざまなパラメーター間の相互作用を研究し、レイヤーやエポック全体でさらに小さなエンコーディングの可能性を特定します。
私たちの調査結果に基づいて、最後のエポックと最初/最後の層でのみ 6 ビットの仮数を使用し、他のすべての算術演算の 99.7\%$ で 4 ビットの仮数を使用するエポック駆動型混合仮数 HBFP 手法である精度ブースターを提案します。
訓練中の操作。
分析モデルを使用して、Accuracy Booster により、FP32 の精度を維持または上回るパフォーマンスを維持しながら、HBFP トレーニング アクセラレータの演算密度を FP32 と比較して最大 $21.3\times$、別の SOTA 形式 Bfloat16 と比較して最大 $4.4\times$ 増加させることができることを示します。

要約(オリジナル)

The unprecedented growth in DNN model complexity, size, and amount of training data has led to a commensurate increase in demand for computing and a search for minimal encoding. Recent research advocates Hybrid Block Floating Point (HBFP) to minimize silicon provisioning in accelerators by converting the majority of arithmetic operations in training to 8-bit fixed point. In this paper, we perform a full-scale exploration of the HBFP design space using mathematical tools to study the interplay among various parameters and identify opportunities for even smaller encodings across layers and epochs. Based on our findings, we propose Accuracy Boosters, an epoch-driven mixed-mantissa HBFP technique that uses 6-bit mantissas only in the last epoch and first/last layers, and 4-bit mantissas for $99.7\%$ of all other arithmetic operations in training. Using analytic models, we show Accuracy Boosters enable increasing arithmetic density for an HBFP training accelerator by up to $21.3\times$ compared to FP32 and up to $4.4\times$ compared to another SOTA format Bfloat16, while preserving or outperforming FP32 accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google