Pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks

要約

計算科学における低精度の算術に対する需要の高まりに動機付けられているため、数値分析と機械学習のための支配的なプログラミング言語と広く見なされているPythonの低精度エミュレーションを活用します。
低精度トレーニングは、モデルの忠実度を維持しながら、より効率的な計算とメモリとエネルギーの消費を減らすことにより、深い学習に革命をもたらしました。
低精度計算の数値実験と探索をより適切に可能にするために、Pychopライブラリを開発しました。Pychopライブラリは、Pythonのカスタマイズ可能なフローティングポイント形式と包括的な丸めモードセットをサポートし、ユーザーが多数のアプリケーションで迅速で低精度エミュレーションから利益を得ることができます。
Pychopはまた、PytorchとJaxの両方のインターフェイスを導入し、ニューラルネットワークトレーニングのためにGPUで効率的な低精度エミュレーションを可能にし、比類のない柔軟性を備えた推論を可能にします。
この論文では、PyChopの設計、実装、検証、および実用的なアプリケーションの包括的な説明を提供し、効率的な混合精度アルゴリズムを進めるための基礎ツールとして確立します。
さらに、公開されたデータセットを使用した画像分類とオブジェクト検出の低精度エミュレーションに関する経験的結果を示し、低精度の使用の感度を示し、その影響に対する貴重な洞察を提供します。
Pychopは、数値精度の効果に関する詳細な調査を可能にし、新しいハードウェアアクセラレータの開発を促進し、既存の深い学習ワークフローにシームレスに統合します。
ソフトウェアと実験コードは、https://github.com/inexascale/pychopで公開されています。

要約(オリジナル)

Motivated by the growing demand for low-precision arithmetic in computational science, we exploit lower-precision emulation in Python — widely regarded as the dominant programming language for numerical analysis and machine learning. Low-precision training has revolutionized deep learning by enabling more efficient computation and reduced memory and energy consumption while maintaining model fidelity. To better enable numerical experimentation with and exploration of low precision computation, we developed the Pychop library, which supports customizable floating-point formats and a comprehensive set of rounding modes in Python, allowing users to benefit from fast, low-precision emulation in numerous applications. Pychop also introduces interfaces for both PyTorch and JAX, enabling efficient low-precision emulation on GPUs for neural network training and inference with unparalleled flexibility. In this paper, we offer a comprehensive exposition of the design, implementation, validation, and practical application of Pychop, establishing it as a foundational tool for advancing efficient mixed-precision algorithms. Furthermore, we present empirical results on low-precision emulation for image classification and object detection using published datasets, illustrating the sensitivity of the use of low precision and offering valuable insights into its impact. Pychop enables in-depth investigations into the effects of numerical precision, facilitates the development of novel hardware accelerators, and integrates seamlessly into existing deep learning workflows. Software and experimental code are publicly available at https://github.com/inEXASCALE/pychop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google