Investigating the Impact of Quantization on Adversarial Robustness

要約

量子化は、ディープ モデルのビット幅を削減してランタイム パフォーマンスとストレージ効率を向上させるための有望な手法であり、デプロイメントの基本的なステップになります。
現実世界のシナリオでは、量子化モデルは多くの場合、わずかな摂動を導入することによってモデルに誤った推論を引き起こす敵対的な攻撃に直面します。
ただし、最近の研究では、モデルの堅牢性に対する量子化の影響についてはあまり注目されていません。
さらに驚くべきことに、このテーマに関する既存の研究では一貫性のない結論さえ提示されており、それが私たちの詳細な調査を促しました。
このペーパーでは、トレーニング後の量子化と量子化を意識したトレーニングの設定の下でロバストな最適化を組み込むことができる量子化パイプライン コンポーネントの影響の初めての分析を実行します。
詳細な分析を通じて、この不一致は、特にロバストな最適化が実行されるかどうか、およびどの量子化段階で実行されるかに関して、さまざまな研究で異なるパイプラインを使用することから生じることがわかりました。
私たちの調査結果は、より安全で堅牢な量子化ネットワークの展開に関する洞察に貢献し、高度なセキュリティ要件と限られたリソースを伴うシナリオの参考として実務者を支援します。

要約(オリジナル)

Quantization is a promising technique for reducing the bit-width of deep models to improve their runtime performance and storage efficiency, and thus becomes a fundamental step for deployment. In real-world scenarios, quantized models are often faced with adversarial attacks which cause the model to make incorrect inferences by introducing slight perturbations. However, recent studies have paid less attention to the impact of quantization on the model robustness. More surprisingly, existing studies on this topic even present inconsistent conclusions, which prompted our in-depth investigation. In this paper, we conduct a first-time analysis of the impact of the quantization pipeline components that can incorporate robust optimization under the settings of Post-Training Quantization and Quantization-Aware Training. Through our detailed analysis, we discovered that this inconsistency arises from the use of different pipelines in different studies, specifically regarding whether robust optimization is performed and at which quantization stage it occurs. Our research findings contribute insights into deploying more secure and robust quantized networks, assisting practitioners in reference for scenarios with high-security requirements and limited resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google