Mixed-precision Neural Networks on RISC-V Cores: ISA extensions for Multi-Pumped Soft SIMD Operations

要約

量子化と混合精度のアプローチにおける最近の進歩により、ニューラル ネットワーク (NN) の速度とエネルギー効率を向上させる大きな機会が提供されています。
研究によると、さまざまな低精度の個々のパラメータでも、完全精度のパラメータに匹敵する精度を達成できることがわかっています。
ただし、最新の組み込みマイクロプロセッサは、命令セット アーキテクチャ (ISA) 拡張機能と、混合精度演算を効率的に実行するためのハードウェア設計の両方に関して、混合精度 NN のサポートを非常に限定的にしています。
この作業では、主要な RISC-V CPU アーキテクチャでのエネルギー効率の高い DNN 推論をターゲットとして、混合精度のハードウェア最適化に合わせて調整された ISA 拡張機能を初めてまとめました。
この目的を達成するために、協調的なハードウェア設計、混合精度量子化、ISA 拡張、およびサイクル精度の高いエミュレーションでの推論を可能にするハードウェアとソフトウェアの協調設計フレームワークを導入します。
ハードウェア レベルでは、まず概念実証マイクロ アーキテクチャ内の ALU ユニットを拡張し、構成可能なきめ細かい混合精度の算術演算をサポートします。
その後、マルチ ポンピングを実装して実行レイテンシを最小限に抑え、2 ビット演算に追加のソフト SIMD 最適化を適用します。
ISA レベルでは、RISC-V ISA を拡張して 3 つの異なる MAC 命令がエンコードされ、コンパイラ レベルまで公開され、それぞれが異なる混合精度動作モードに対応します。
CIFAR10 や ImageNet など、広く使用されている DNN やデータセットに対する広範な実験評価により、当社のフレームワークが精度損失 1% 未満で平均 15 倍のエネルギー削減を達成でき、ISA に依存しない最先端のフレームワークを上回るパフォーマンスを発揮できることが実証されました。
RISC-Vコア。

要約(オリジナル)

Recent advancements in quantization and mixed-precision approaches offers substantial opportunities to improve the speed and energy efficiency of Neural Networks (NN). Research has shown that individual parameters with varying low precision, can attain accuracies comparable to full-precision counterparts. However, modern embedded microprocessors provide very limited support for mixed-precision NNs regarding both Instruction Set Architecture (ISA) extensions and their hardware design for efficient execution of mixed-precision operations, i.e., introducing several performance bottlenecks due to numerous instructions for data packing and unpacking, arithmetic unit under-utilizations etc. In this work, we bring together, for the first time, ISA extensions tailored to mixed-precision hardware optimizations, targeting energy-efficient DNN inference on leading RISC-V CPU architectures. To this end, we introduce a hardware-software co-design framework that enables cooperative hardware design, mixed-precision quantization, ISA extensions and inference in cycle-accurate emulations. At hardware level, we firstly expand the ALU unit within our proof-of-concept micro-architecture to support configurable fine grained mixed-precision arithmetic operations. Subsequently, we implement multi-pumping to minimize execution latency, with an additional soft SIMD optimization applied for 2-bit operations. At the ISA level, three distinct MAC instructions are encoded extending the RISC-V ISA, and exposed up to the compiler level, each corresponding to a different mixed-precision operational mode. Our extensive experimental evaluation over widely used DNNs and datasets, such as CIFAR10 and ImageNet, demonstrates that our framework can achieve, on average, 15x energy reduction for less than 1% accuracy loss and outperforms the ISA-agnostic state-of-the-art RISC-V cores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google