Improving Robustness Against Adversarial Attacks with Deeply Quantized Neural Networks

要約

タイトル：深く量子化されたニューラルネットワークによる敵対的攻撃に対する強固さの向上
要約：

– 機械学習（ML）モデルのメモリフットプリントを削減することは、資源制限のある小型デバイスにデプロイするために不可欠である。
– 深層ニューラルネットワーク（DNN）モデルの弱点は、入力にわずかな摂動を加えることで騙される可能性があることである。
– 要点：①「QKeras」と呼ばれる自動量子化関連トレーニングフレームワークによってトレーニングされた小型DNNモデルを開発した。②深い量子化損失が学習ループに考慮されるため、設計されたDNNは小型デバイスに展開するためにより正確になる。③QKerasとジェイコビアン正規化（JR）を組み合わせて、DNNのトポロジーとレイヤーごとにJRアプローチを利用して、丈夫で小型のDNNモデルを生成できる共同最適化戦略を提供する。④結果として、新しいDNNモデルの提案と、画像と音声入力の両方を含む3つのデータセットでのテストが行われ、既存のベンチマークと白箱・黒箱攻撃に対するパフォーマンスが比較された。⑤実験結果は、平均して、提案されたDNNモデルがCIFAR-10画像データセットとGoogle Speech Commands音声データセットのサブセットでの白箱・黒箱攻撃に対して、MLCommons/Tinyベンチマークよりも8.3％と79.5％高い精度を示すことを示した。また、SVHN画像データセットにおいて黒箱攻撃に対しては6.5％精度が向上した。

要約(オリジナル)

Reducing the memory footprint of Machine Learning (ML) models, particularly Deep Neural Networks (DNNs), is essential to enable their deployment into resource-constrained tiny devices. However, a disadvantage of DNN models is their vulnerability to adversarial attacks, as they can be fooled by adding slight perturbations to the inputs. Therefore, the challenge is how to create accurate, robust, and tiny DNN models deployable on resource-constrained embedded devices. This paper reports the results of devising a tiny DNN model, robust to adversarial black and white box attacks, trained with an automatic quantizationaware training framework, i.e. QKeras, with deep quantization loss accounted in the learning loop, thereby making the designed DNNs more accurate for deployment on tiny devices. We investigated how QKeras and an adversarial robustness technique, Jacobian Regularization (JR), can provide a co-optimization strategy by exploiting the DNN topology and the per layer JR approach to produce robust yet tiny deeply quantized DNN models. As a result, a new DNN model implementing this cooptimization strategy was conceived, developed and tested on three datasets containing both images and audio inputs, as well as compared its performance with existing benchmarks against various white-box and black-box attacks. Experimental results demonstrated that on average our proposed DNN model resulted in 8.3% and 79.5% higher accuracy than MLCommons/Tiny benchmarks in the presence of white-box and black-box attacks on the CIFAR-10 image dataset and a subset of the Google Speech Commands audio dataset respectively. It was also 6.5% more accurate for black-box attacks on the SVHN image dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI