A method of using RSVD in residual calculation of LowBit GEMM

要約

近年のハードウェア技術の進歩により、低精度アプリケーションに多くの可能性がもたらされました。
ただし、低精度を使用すると重大な計算エラーが発生する可能性があり、計算精度を維持するのに大きな課題が生じます。
高密度低精度量子化行列乗算のための残差補償に低ランク近似を導入する低ランク残差量子化行列乗算(LRQMM)法を提案する。
BLAS-2 レベルの追加時間オーバーヘッドのみで、精度を数倍向上させることができます。
さらに、LRQMM は完全にデータフリーの量子化方法であり、事前トレーニング用の追加データは必要ありません。
また、他のメソッドと組み合わせやすい低精度の GEMM 演算子でのみ機能します。
実験を通じて、LRQMM は直接量子化行列の乗算の誤差を 1 ～ 2 桁減らすことができ、より大きな行列サイズを扱う場合、計算速度は約 20\% しか低下しません。
深層学習ネットワークでは、LRQMM-4bit は Resnet-50 で 61.8% の ImageNet Top-1 精度を達成しますが、Direct Quant の精度はわずか 8.3% です。

要約(オリジナル)

The advancements of hardware technology in recent years has brought many possibilities for low-precision applications. However, the use of low precision can introduce significant computational errors, posing a considerable challenge to maintaining the computational accuracy. We propose low-rank residuals quantized matrix multiplication(LRQMM) method which introduces low-rank approximation in residual compensation for dense low precision quantization matrix multiplication. It can bring several times accuracy improvement with only BLAS-2 level extra time overhead. Moreover, LRQMM is a completely data-free quantization method that does not require additional data for pre-training. And it only works with low precision GEMM operator, which is easy to couple with other methods. Through experimentation, LRQMM can reduce the error of direct quantized matrix multiplication by 1~2 orders of magnitude, when dealing with larger matrix sizes, the computational speed is only reduced by approximately 20\%. In deep learning networks, LRQMM-4bit achieves 61.8% ImageNet Top-1 accuracy in Resnet-50, while the Direct Quant accuracy is only 8.3%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google