Quantization Backdoors to Deep Learning Commercial Frameworks

要約

タイトル：深層学習商用フレームワークにおける量子化バックドア

要約：
– インターネットオブシングス（IoT）デバイスでは、リソースが制限され、32ビット浮動小数点演算を利用できないため、ディープラーニング（DL）モデルの直接配置が困難である。
– 商用フレームワーク（ツールキットのセット）を利用したモデル量子化は、大量の計算が必要な高精度モデル（例：float-32）を、低精度モデル（例：int-8）にポスト量子化することで、モバイルデバイスや組み込みシステムにDLデプロイメントを実現する有効な解決策となる。
– しかし、このような商用フレームワークを悪用することでバックドアが作成される可能性があることが明らかになった。
– この研究では、float-32モデルをTFLiteやPytorch Mobileフレームワークを通じてint-8フォーマットモデルに変換する際にバックドアが活性化することを示した。
– このバックドアは、トリガーが存在する場合には100％近い攻撃成功率を示し、トリガーのない入力では正常に動作する。
– この研究は、DLのモデルバックドア検査が通過していたとしても、ポスト量子化のクロスプラットフォーム検討が必要であることを強調している。

要約(オリジナル)

Currently, there is a burgeoning demand for deploying deep learning (DL) models on ubiquitous edge Internet of Things (IoT) devices attributed to their low latency and high privacy preservation. However, DL models are often large in size and require large-scale computation, which prevents them from being placed directly onto IoT devices, where resources are constrained and 32-bit floating-point (float-32) operations are unavailable. Commercial framework (i.e., a set of toolkits) empowered model quantization is a pragmatic solution that enables DL deployment on mobile devices and embedded systems by effortlessly post-quantizing a large high-precision model (e.g., float-32) into a small low-precision model (e.g., int-8) while retaining the model inference accuracy. However, their usability might be threatened by security vulnerabilities. This work reveals that the standard quantization toolkits can be abused to activate a backdoor. We demonstrate that a full-precision backdoored model which does not have any backdoor effect in the presence of a trigger — as the backdoor is dormant — can be activated by the default i) TensorFlow-Lite (TFLite) quantization, the only product-ready quantization framework to date, and ii) the beta released PyTorch Mobile framework. When each of the float-32 models is converted into an int-8 format model through the standard TFLite or Pytorch Mobile framework’s post-training quantization, the backdoor is activated in the quantized model, which shows a stable attack success rate close to 100% upon inputs with the trigger, while it behaves normally upon non-trigger inputs. This work highlights that a stealthy security threat occurs when an end user utilizes the on-device post-training model quantization frameworks, informing security researchers of cross-platform overhaul of DL models post quantization even if these models pass front-end backdoor inspections.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI