QReg: On Regularization Effects of Quantization

要約

この論文では、DNNトレーニングにおける量子化の効果を研究します。
重みの量子化は正則化の一形態であり、正則化の量は量子化レベル（精度）と相関していると仮定します。
分析的研究と実証的結果を提供することにより、仮説を確認します。
重みの量子化を重みへの加法性ノイズの形式としてモデル化することにより、トレーニング時にこのノイズがネットワークを介してどのように伝播するかを調べます。
次に、このノイズの大きさが量子化のレベルと相関していることを示します。
分析研究を確認するために、このペーパーで要約した実験の広範なリストを実行しました。ここでは、量子化の正則化効果が、さまざまなデータセットのさまざまな視覚タスクおよびモデルで見られることを示しています。
私たちの研究に基づいて、8ビット量子化がさまざまな視覚タスクとモデルで信頼できる正則化の形式を提供することを提案します。

要約(オリジナル)

In this paper we study the effects of quantization in DNN training. We hypothesize that weight quantization is a form of regularization and the amount of regularization is correlated with the quantization level (precision). We confirm our hypothesis by providing analytical study and empirical results. By modeling weight quantization as a form of additive noise to weights, we explore how this noise propagates through the network at training time. We then show that the magnitude of this noise is correlated with the level of quantization. To confirm our analytical study, we performed an extensive list of experiments summarized in this paper in which we show that the regularization effects of quantization can be seen in various vision tasks and models, over various datasets. Based on our study, we propose that 8-bit quantization provides a reliable form of regularization in different vision tasks and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google