Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective

要約

タイトル：ポストトレーニング量子化における振動問題の理論的観点からの解決
要約：
– ポストトレーニング量子化（PTQ）は、データプライバシーや低い計算コストなどから、実用的で最も効率的な圧縮手法の一つと見なされている。
– しかし、PTQ手法には振動の問題があることが指摘され、この問題を解決するために理論的な枠組みを導入することを提案する。
– 具体的には、PTQにおける振動の定式化と問題の原因を説明し、モジュール容量という概念の導入によって問題を解決する方法を提示する。
– モジュール容量は、データ依存性およびデータ非依存性のシナリオにおいて定義され、振動の度合いを測定するために隣接するモジュールの差分を使用する。
– 上位k個の差分を選択し、対応するモジュールを共同で最適化して量子化することで、問題を解決する。
– 実験により、提案手法が性能低下を有意に減少させ、異なるニューラルネットワークとPTQ手法でも一般化されることが示された。例えば、2/4ビットのResNet-50量子化において、提案手法は先行研究を1.9％上回った。モデルが小さい量子化では、例えばMobileNetV2*0.5の場合、提案手法はBRECQ方法を6.61％上回った。

要約(オリジナル)

Post-training quantization (PTQ) is widely regarded as one of the most efficient compression methods practically, benefitting from its data privacy and low computation costs. We argue that an overlooked problem of oscillation is in the PTQ methods. In this paper, we take the initiative to explore and present a theoretical proof to explain why such a problem is essential in PTQ. And then, we try to solve this problem by introducing a principled and generalized framework theoretically. In particular, we first formulate the oscillation in PTQ and prove the problem is caused by the difference in module capacity. To this end, we define the module capacity (ModCap) under data-dependent and data-free scenarios, where the differentials between adjacent modules are used to measure the degree of oscillation. The problem is then solved by selecting top-k differentials, in which the corresponding modules are jointly optimized and quantized. Extensive experiments demonstrate that our method successfully reduces the performance drop and is generalized to different neural networks and PTQ methods. For example, with 2/4 bit ResNet-50 quantization, our method surpasses the previous state-of-the-art method by 1.9%. It becomes more significant on small model quantization, e.g. surpasses BRECQ method by 6.61% on MobileNetV2*0.5.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI