RobustMQ: Benchmarking Robustness of Quantized Models

要約

量子化は、リソースが限られたデバイスにディープ ニューラル ネットワーク (DNN) を展開するための不可欠な技術として浮上しました。
ただし、量子化モデルは、現実世界のアプリケーションでさまざまなノイズにさらされると脆弱性を示します。
ロバスト性に対する量子化の影響を評価することの重要性にもかかわらず、このトピックに関する既存の研究は限られており、ロバスト性評価の確立された原則が無視されていることが多く、その結果不完全で決定的な結果が得られません。
このギャップに対処するために、ImageNet 上のさまざまなノイズ (敵対的攻撃、自然破壊、組織的ノイズ) に対する量子化モデルの堅牢性を徹底的に評価しました。
包括的な評価結果は、さまざまなシナリオにおける量子化モデルの堅牢性に関する貴重な洞察を経験的に提供します。たとえば、(1) 量子化モデルは、浮動小数点モデルよりも高い敵対的堅牢性を示しますが、自然な破損や系統的なノイズに対してより脆弱です。
(2) 一般に、量子化ビット幅を増やすと、敵対的な堅牢性が低下し、自然な堅牢性が増加し、系統的な堅牢性が増加します。
(3) 破損手法の中で、\textit{インパルス ノイズ} と \textit{ガラスのぼかし} は量子化モデルにとって最も有害ですが、\textit{明るさ} の影響は最も小さいです。
(4) 系統的ノイズの中で、\textit{最近傍補間} の影響が最も大きく、双一次補間、三次補間、およびエリア補間の 3 つは最も有害ではありません。
私たちの研究は、モデルの堅牢な量子化と現実世界のシナリオへの展開の推進に貢献します。

要約(オリジナル)

Quantization has emerged as an essential technique for deploying deep neural networks (DNNs) on devices with limited resources. However, quantized models exhibit vulnerabilities when exposed to various noises in real-world applications. Despite the importance of evaluating the impact of quantization on robustness, existing research on this topic is limited and often disregards established principles of robustness evaluation, resulting in incomplete and inconclusive findings. To address this gap, we thoroughly evaluated the robustness of quantized models against various noises (adversarial attacks, natural corruptions, and systematic noises) on ImageNet. The comprehensive evaluation results empirically provide valuable insights into the robustness of quantized models in various scenarios, for example: (1) quantized models exhibit higher adversarial robustness than their floating-point counterparts, but are more vulnerable to natural corruptions and systematic noises; (2) in general, increasing the quantization bit-width results in a decrease in adversarial robustness, an increase in natural robustness, and an increase in systematic robustness; (3) among corruption methods, \textit{impulse noise} and \textit{glass blur} are the most harmful to quantized models, while \textit{brightness} has the least impact; (4) among systematic noises, the \textit{nearest neighbor interpolation} has the highest impact, while bilinear interpolation, cubic interpolation, and area interpolation are the three least harmful. Our research contributes to advancing the robust quantization of models and their deployment in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google