Genie: Show Me the Data for Quantization

要約

タイトル：Genie: Show Me the Data for Quantization

要約：
– 高コストやプライバシー関連の問題などを理由にデータにアクセスできない場合、ゼロショット量子化は軽量なディープニューラルネットワークを開発するための有望なアプローチである。
– ゼロショット量子化スキームは、FP32-事前学習モデルのバッチ正規化層の学習済みパラメータ($ \mu $と$ \sigma $)を利用することで、合成データの生成に焦点を合わせる。
– しかし、これまでにゼロショット量子化は、タスク固有の損失と再トレーニングのような長期的な最適化が必要な量子化意識トレーニング手法の文脈で主に議論されてきた。
– したがって、本研究では、数時間以内に高品質の量子化ネットワークを生成するポストトレーニング量子化スキームを紹介する。さらに、量子化に適したデータを生成するフレームワークである「Genie」を提案する。
– Genieによって合成されたデータを用いることで、実際のデータセットが無くても堅牢な量子化モデルを生成することができ、フューショット量子化に匹敵する。高いパフォーマンスを発揮するポストトレーニング量子化アルゴリズムも提案しており、これらを組み合わせることで、既存のアプローチに比べ量子化パフォーマンスを大幅に改善し、ユニークなゼロショット量子化アプローチを得ることができる。

要約(オリジナル)

Zero-shot quantization is a promising approach for developing lightweight deep neural networks when data is inaccessible owing to various reasons, including cost and issues related to privacy. By exploiting the learned parameters ($\mu$ and $\sigma$) of batch normalization layers in an FP32-pre-trained model, zero-shot quantization schemes focus on generating synthetic data. Subsequently, they distill knowledge from the pre-trained model (teacher) to the quantized model (student) such that the quantized model can be optimized with the synthetic dataset. However, thus far, zero-shot quantization has primarily been discussed in the context of quantization-aware training methods, which require task-specific losses and long-term optimization as much as retraining. We thus introduce a post-training quantization scheme for zero-shot quantization that produces high-quality quantized networks within a few hours. Furthermore, we propose a framework called \genie~that generates data suited for quantization. With the data synthesized by Genie, we can produce robust quantized models without real datasets, which is comparable to few-shot quantization. We also propose a post-training quantization algorithm to enhance the performance of quantized models. By combining them, we can bridge the gap between zero-shot and few-shot quantization while significantly improving the quantization performance compared to that of existing approaches. In other words, we can obtain a unique state-of-the-art zero-shot quantization approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI