Genie: Show Me the Data for Quantization

要約

ゼロショット量子化は、コストやプライバシーに関する問題など、さまざまな理由でデータにアクセスできない場合に、軽量のディープ ニューラル ネットワークを開発するための有望なアプローチです。
FP32 事前トレーニング済みモデルのバッチ正規化層の学習済みパラメーター ($\mu$ および $\sigma$) を利用することにより、ゼロショット量子化スキームは合成データの生成に重点を置いています。
その後、量子化モデルを合成データセットで最適化できるように、事前トレーニングされたモデル (教師) から量子化モデル (生徒) に知識を抽出します。
ただし、これまでのところ、ゼロショット量子化は主に、タスク固有の損失と再トレーニングと同様に長期的な最適化を必要とする量子化対応トレーニング方法の文脈で議論されてきました。
そこで、数時間以内に高品質の量子化ネットワークを生成するゼロショット量子化のためのトレーニング後の量子化スキームを導入します。
さらに、量子化に適したデータを生成する Genie~ と呼ばれるフレームワークを提案します。
Genie によって合成されたデータを使用すると、実際のデータセットを使用せずに堅牢な量子化モデルを生成できます。これは、数ショットの量子化に匹敵します。
また、量子化モデルのパフォーマンスを向上させるためのトレーニング後の量子化アルゴリズムも提案します。
それらを組み合わせることで、既存のアプローチと比較して量子化パフォーマンスを大幅に向上させながら、ゼロショット量子化と少数ショット量子化の間のギャップを埋めることができます。
言い換えれば、独自の最先端のゼロショット量子化アプローチを得ることができます。
コードは \url{https://github.com/SamsungLabs/Genie} で入手できます。

要約(オリジナル)

Zero-shot quantization is a promising approach for developing lightweight deep neural networks when data is inaccessible owing to various reasons, including cost and issues related to privacy. By exploiting the learned parameters ($\mu$ and $\sigma$) of batch normalization layers in an FP32-pre-trained model, zero-shot quantization schemes focus on generating synthetic data. Subsequently, they distill knowledge from the pre-trained model (teacher) to the quantized model (student) such that the quantized model can be optimized with the synthetic dataset. However, thus far, zero-shot quantization has primarily been discussed in the context of quantization-aware training methods, which require task-specific losses and long-term optimization as much as retraining. We thus introduce a post-training quantization scheme for zero-shot quantization that produces high-quality quantized networks within a few hours. Furthermore, we propose a framework called Genie~that generates data suited for quantization. With the data synthesized by Genie, we can produce robust quantized models without real datasets, which is comparable to few-shot quantization. We also propose a post-training quantization algorithm to enhance the performance of quantized models. By combining them, we can bridge the gap between zero-shot and few-shot quantization while significantly improving the quantization performance compared to that of existing approaches. In other words, we can obtain a unique state-of-the-art zero-shot quantization approach. The code is available at \url{https://github.com/SamsungLabs/Genie}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google