Adversarial Machine Learning in Latent Representations of Neural Networks

要約

分散ディープ ニューラル ネットワーク (DNN) は、モバイル デバイスの計算負荷を軽減し、エッジ コンピューティング シナリオにおけるエンドツーエンドの推論待ち時間を短縮することが示されています。
分散 DNN は研究されてきましたが、私たちの知る限り、敵対行為に対する分散 DNN の復元力は依然として未解決の問題のままです。
この論文では、敵対的なアクションに対する分散 DNN の堅牢性を厳密に分析することで、既存の研究のギャップを埋めます。
私たちはこの問題を情報理論の文脈に置き、歪みとロバスト性に関する 2 つの新しい測定値を導入します。
私たちの理論的発見は、(i) 同じレベルの情報歪みを仮定すると、潜在的な特徴は常に入力表現よりも堅牢であることを示しています。
(ii) 敵対的堅牢性は、DNN の特徴次元と一般化能力によって共同で決定されます。
理論的発見をテストするために、6 つの異なる DNN アーキテクチャ、分散 DNN の 6 つの異なるアプローチ、および ImageNet-1K データセットに対する 10 の異なる敵対的攻撃を考慮して、広範な実験分析を実行しました。
私たちの実験結果は、圧縮された潜在表現が、入力空間への攻撃と比較して、敵対的攻撃の成功率を最良の場合で 88%、平均で 57% 低下させる可能性があることを示し、理論的発見を裏付けています。

要約(オリジナル)

Distributed deep neural networks (DNNs) have been shown to reduce the computational burden of mobile devices and decrease the end-to-end inference latency in edge computing scenarios. While distributed DNNs have been studied, to the best of our knowledge the resilience of distributed DNNs to adversarial action still remains an open problem. In this paper, we fill the existing research gap by rigorously analyzing the robustness of distributed DNNs against adversarial action. We cast this problem in the context of information theory and introduce two new measurements for distortion and robustness. Our theoretical findings indicate that (i) assuming the same level of information distortion, latent features are always more robust than input representations; (ii) the adversarial robustness is jointly determined by the feature dimension and the generalization capability of the DNN. To test our theoretical findings, we perform extensive experimental analysis by considering 6 different DNN architectures, 6 different approaches for distributed DNN and 10 different adversarial attacks to the ImageNet-1K dataset. Our experimental results support our theoretical findings by showing that the compressed latent representations can reduce the success rate of adversarial attacks by 88% in the best case and by 57% on the average compared to attacks to the input space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google