In Defense of Pure 16-bit Floating-Point Neural Networks

要約

ニューラル ネットワークの重みとアクティベーションをエンコードするために必要なビット数を削減することは、メモリ消費量を削減しながらトレーニングと推論の時間を短縮できるため、非常に望ましいことです。
これらの理由から、この分野の研究は、混合精度トレーニングなどの低精度コンピューティングを利用するニューラル ネットワークの開発に大きな注目を集めています。
興味深いことに、既存のアプローチはいずれも純粋な 16 ビット浮動小数点設定を調査していません。
この論文では、純粋な 16 ビット浮動小数点ニューラル ネットワークの見落とされている効率に光を当てます。
そのため、16 ビット モデルと 32 ビット モデルの間で観察される違いに寄与する要因を調査するための包括的な理論分析を提供します。
浮動小数点誤差と許容誤差の概念を形式化し、16 ビット モデルが 32 ビット モデルの結果に厳密に近似できる条件を定量的に説明できるようにします。
この理論的探求は、低精度ニューラル ネットワークの成功をその正則化効果に帰する文献とは異なる視点を提供します。
この詳細な分析は、広範な一連の実験によって裏付けられています。
私たちの調査結果は、純粋な 16 ビット浮動小数点ニューラル ネットワークが、混合精度の 32 ビットのニューラル ネットワークと同等かそれ以上のパフォーマンスを達成できることを示しています。
この論文で示された結果は、機械学習の実践者にとって重要な意味を持ち、さまざまなアプリケーションでの純粋な 16 ビット ネットワークの使用を再考する機会を提供すると信じています。

要約(オリジナル)

Reducing the number of bits needed to encode the weights and activations of neural networks is highly desirable as it speeds up their training and inference time while reducing memory consumption. For these reasons, research in this area has attracted significant attention toward developing neural networks that leverage lower-precision computing, such as mixed-precision training. Interestingly, none of the existing approaches has investigated pure 16-bit floating-point settings. In this paper, we shed light on the overlooked efficiency of pure 16-bit floating-point neural networks. As such, we provide a comprehensive theoretical analysis to investigate the factors contributing to the differences observed between 16-bit and 32-bit models. We formalize the concepts of floating-point error and tolerance, enabling us to quantitatively explain the conditions under which a 16-bit model can closely approximate the results of its 32-bit counterpart. This theoretical exploration offers perspective that is distinct from the literature which attributes the success of low-precision neural networks to its regularization effect. This in-depth analysis is supported by an extensive series of experiments. Our findings demonstrate that pure 16-bit floating-point neural networks can achieve similar or even better performance than their mixed-precision and 32-bit counterparts. We believe the results presented in this paper will have significant implications for machine learning practitioners, offering an opportunity to reconsider using pure 16-bit networks in various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google