Redistribution of Weights and Activations for AdderNet Quantization

要約

Adder Neural Network (AdderNet) は、畳み込みにおけるコストのかかる乗算を安価な加算 (つまり、l1-norm) に置き換えることにより、エネルギー効率の高いニューラル ネットワークを開発するための新しい方法を提供します。
より高いハードウェア効率を実現するには、AdderNet の低ビット量子化をさらに研究する必要があります。
乗算の可換法則が l1 ノルムでは成り立たないという制限があるため、畳み込みネットワークで確立された量子化手法を AdderNet に適用することはできません。
したがって、既存の AdderNet 量子化手法は、重みと活性化の両方を同時に量子化するために、1 つの共有スケールのみを使用することを提案しています。
確かに、このようなアプローチは、l1 ノルム量子化プロセスで交換法則を維持できますが、低ビット量子化後の精度低下は無視できません。
この目的のために、最初に AdderNet の重みと活性化の分布の違いを徹底的に分析し、次に重みと活性化を再分配することによって新しい量子化アルゴリズムを提案します。
具体的には、異なるカーネルの事前トレーニング済みの完全精度の重みが異なるグループにクラスター化され、グループ内共有とグループ間独立スケールを採用できます。
分布の違いによる精度の低下をさらに補うために、ウェイトのロスレス レンジ クランプ スキームと、アクティベーションのシンプルで効果的な外れ値クランプ戦略を開発します。
したがって、完全精度の重みの機能と完全精度のアクティベーションの表現能力を完全に維持できます。
AdderNet の提案された量子化方法の有効性は、いくつかのベンチマークで十分に検証されています。たとえば、4 ビットのトレーニング後の量子化された加算器 ResNet-18 は、ImageNet で 66.5% のトップ 1 精度を達成し、同等のエネルギー効率 (約 8.5) を実現します。
以前の AdderNet 量子化方法よりも % 高くなります。

要約(オリジナル)

Adder Neural Network (AdderNet) provides a new way for developing energy-efficient neural networks by replacing the expensive multiplications in convolution with cheaper additions (i.e.l1-norm). To achieve higher hardware efficiency, it is necessary to further study the low-bit quantization of AdderNet. Due to the limitation that the commutative law in multiplication does not hold in l1-norm, the well-established quantization methods on convolutional networks cannot be applied on AdderNets. Thus, the existing AdderNet quantization techniques propose to use only one shared scale to quantize both the weights and activations simultaneously. Admittedly, such an approach can keep the commutative law in the l1-norm quantization process, while the accuracy drop after low-bit quantization cannot be ignored. To this end, we first thoroughly analyze the difference on distributions of weights and activations in AdderNet and then propose a new quantization algorithm by redistributing the weights and the activations. Specifically, the pre-trained full-precision weights in different kernels are clustered into different groups, then the intra-group sharing and inter-group independent scales can be adopted. To further compensate the accuracy drop caused by the distribution difference, we then develop a lossless range clamp scheme for weights and a simple yet effective outliers clamp strategy for activations. Thus, the functionality of full-precision weights and the representation ability of full-precision activations can be fully preserved. The effectiveness of the proposed quantization method for AdderNet is well verified on several benchmarks, e.g., our 4-bit post-training quantized adder ResNet-18 achieves an 66.5% top-1 accuracy on the ImageNet with comparable energy efficiency, which is about 8.5% higher than that of the previous AdderNet quantization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google