Nearest is Not Dearest: Towards Practical Defense against Quantization-conditioned Backdoor Attacks

要約

モデルの量子化は、ディープ ニューラル ネットワークの圧縮と高速化に広く使用されています。
しかし、最近の研究では、量子化条件付きバックドア (QCB) を埋め込むことでモデルの量子化を兵器化する可能性が明らかになりました。
これらの特別なバックドアは、リリースされた完全精度モデルでは休止状態のままですが、標準の量子化後に有効になります。
QCB の特殊性により、既存の防御はその脅威を軽減する効果が小さいか、実行不可能ですらあります。
この論文では、QCB の初めての詳細な分析を行います。
既存の QCB の活性化は主に最近接丸め演算に由来し、ニューロンごとの切り捨て誤差の基準 (つまり、連続した完全精度の重みとその量子化バージョンの差) に密接に関連していることを明らかにします。
これらの洞察に基づいて、私たちは QCB に対する効果的かつ実践的な防御策である、Error-guided Flipped Rounding with Activation Preservation (EFRAP) を提案します。
具体的には、EFRAP はニューロン単位のエラー ノルムと層単位の活性化保存ガイダンスを使用して非最近接丸め戦略を学習し、バックドア効果にとって重要なニューロンの丸め戦略を反転しますが、クリーンな精度への影響は最小限に抑えられます。
ベンチマーク データセットの広範な評価により、当社の EFRAP がさまざまな設定下で最先端の QCB 攻撃を破ることができることが実証されました。
コードは https://github.com/AntigoneRandy/QuantBackdoor_EFRAP で入手できます。

要約(オリジナル)

Model quantization is widely used to compress and accelerate deep neural networks. However, recent studies have revealed the feasibility of weaponizing model quantization via implanting quantization-conditioned backdoors (QCBs). These special backdoors stay dormant on released full-precision models but will come into effect after standard quantization. Due to the peculiarity of QCBs, existing defenses have minor effects on reducing their threats or are even infeasible. In this paper, we conduct the first in-depth analysis of QCBs. We reveal that the activation of existing QCBs primarily stems from the nearest rounding operation and is closely related to the norms of neuron-wise truncation errors (i.e., the difference between the continuous full-precision weights and its quantized version). Motivated by these insights, we propose Error-guided Flipped Rounding with Activation Preservation (EFRAP), an effective and practical defense against QCBs. Specifically, EFRAP learns a non-nearest rounding strategy with neuron-wise error norm and layer-wise activation preservation guidance, flipping the rounding strategies of neurons crucial for backdoor effects but with minimal impact on clean accuracy. Extensive evaluations on benchmark datasets demonstrate that our EFRAP can defeat state-of-the-art QCB attacks under various settings. Code is available at https://github.com/AntigoneRandy/QuantBackdoor_EFRAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google