Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability

要約

機械学習（ML）分類モデルが、敵対的な攻撃として知られる小規模なターゲットを絞った入力摂動に抵抗する能力は、安全性と信頼性の重要な尺度です。
GPUでの非同期並列プログラミングと組み合わせたフローティングポイントの非関連性（FPNA）が、入力に摂動することなく、誤分類を引き起こすのに十分であることを示します。
さらに、この誤分類は、決定境界に近い入力で特に重要であり、機械レベルの詳細を考慮しないと標準的な敵対的堅牢性の結果が最大4.6％を過大評価する可能性があることを示しています。
標準のグラフニューラルネットワーク（GNN）アーキテクチャとデータセットに焦点を当てる前に、最初に線形分類器を研究します。
ベイジアンの最適化を使用して新しいブラックボックス攻撃を提示し、GPUの削減の出力にバイアスし、確実に誤分類につながる外部ワークロードを決定します。
これらの結果に動機付けられて、新しい学習可能な順列（LP）勾配ベースのアプローチを提示し、誤分類につながる浮動小数点操作の順序を学習し、削減または順列の順序が可能であると仮定します。
このLPアプローチは、最悪のケースの推定値を計算効率的な方法で提供し、潜在的に大きなGPU状態またはアーキテクチャのセットで数万回同一の実験を実行する必要性を回避します。
最後に、3つの条件下での削減のために、異なるGPUアーキテクチャ間の並列削減順序を調査します。（1）外部バックグラウンドワークロードの実行、（2）マルチGPU仮想化を利用し、（3）電源キャッピングを適用します。
我々の結果は、並列減少の順序が最初の2つの条件下でアーキテクチャによって大きく異なることを示しています。
ここで開発された結果と方法は、敵対的な堅牢性評価に機械レベルの考慮事項を含めるのに役立ちます。

要約(オリジナル)

The ability of machine learning (ML) classification models to resist small, targeted input perturbations – known as adversarial attacks – is a key measure of their safety and reliability. We show that floating-point non associativity (FPNA) coupled with asynchronous parallel programming on GPUs is sufficient to result in misclassification, without any perturbation to the input. Additionally, we show this misclassification is particularly significant for inputs close to the decision boundary and that standard adversarial robustness results may be overestimated up to 4.6% when not considering machine-level details. We first study a linear classifier, before focusing on standard Graph Neural Network (GNN) architectures and datasets. We present a novel black-box attack using Bayesian optimization to determine external workloads that bias the output of reductions on GPUs and reliably lead to misclassification. Motivated by these results, we present a new learnable permutation (LP) gradient-based approach, to learn floating point operation orderings that lead to misclassifications, making the assumption that any reduction or permutation ordering is possible. This LP approach provides a worst-case estimate in a computationally efficient manner, avoiding the need to run identical experiments tens of thousands of times over a potentially large set of possible GPU states or architectures. Finally, we investigate parallel reduction ordering across different GPU architectures for a reduction under three conditions: (1) executing external background workloads, (2) utilizing multi-GPU virtualization, and (3) applying power capping. Our results demonstrate that parallel reduction ordering varies significantly across architectures under the first two conditions. The results and methods developed here can help to include machine-level considerations into adversarial robustness assessments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google