Exploiting the Partly Scratch-off Lottery Ticket for Quantization-Aware Training

要約

タイトル: 部分的にスクラッチオフされた宝くじ券を量子化意識的なトレーニングに利用する

要約:
– 量子化意識的なトレーニング(QAT)は、量子化されたネットワークのパフォーマンスを保持するために広く使われています。
– 現代の経験では、QATではすべての量子化された重みがトレーニングプロセス全体で更新されると考えられています。
– この論文では、我々が観察した興味深い現象に基づいて、この経験に疑問を投げかけています。
– 具体的には、多くの量子化された重みが、数回のトレーニングエポック後に最適な量子化レベルに到達するという「部分的にスクラッチオフされた宝くじ券」という現象があります。
– これらの重みの勾配計算を残りのトレーニング期間でゼロにすることで、無意味な更新を避けることができます。
– この宝くじ券を効果的に見つけるために、我々はheuristic手法を開発しました。
– 提案された手法は通常、重みの更新を50％〜70％削減し、バックワードパスのFLOPsを25％〜35％削減します。
– 例えば、2ビットのMobileNetV2に対して、提案された手法は、46％の重みの更新と23％のバックワードパスのFLOPsを削減し、5.05％の性能向上をもたらしました。

要約(オリジナル)

Quantization-aware training (QAT) receives extensive popularity as it well retains the performance of quantized networks. In QAT, the contemporary experience is that all quantized weights are updated for an entire training process. In this paper, this experience is challenged based on an interesting phenomenon we observed. Specifically, a large portion of quantized weights reaches the optimal quantization level after a few training epochs, which we refer to as the partly scratch-off lottery ticket. This straightforward-yet-valuable observation naturally inspires us to zero out gradient calculations of these weights in the remaining training period to avoid meaningless updating. To effectively find the ticket, we develop a heuristic method, dubbed lottery ticket scratcher (LTS), which freezes a weight once the distance between the full-precision one and its quantization level is smaller than a controllable threshold. Surprisingly, the proposed LTS typically eliminates 50%-70% weight updating and 25%-35% FLOPs of the backward pass, while still resulting on par with or even better performance than the compared baseline. For example, compared with the baseline, LTS improves 2-bit MobileNetV2 by 5.05%, eliminating 46% weight updating and 23% FLOPs of the backward pass. Code is at url{https://github.com/zysxmu/LTS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI