How to beat a Bayesian adversary

要約

ディープ ニューラル ネットワークやその他の最新の機械学習モデルは、敵対的な攻撃の影響を受けやすいことがよくあります。
実際、敵は、モデルの入力の小さな有向摂動を通じて、モデルの予測を変更できることがよくあります。これは、安全性が重要なアプリケーションでは問題です。
敵対的に堅牢な機械学習は、通常、最大化ベースの敵対的攻撃下での機械学習の損失を最小限に抑える最小最大最適化問題に基づいています。
この研究では、最大化ではなくベイズ統計的アプローチを使用して攻撃を決定する敵対者について研究します。
結果として生じるベイジアン敵対的堅牢性問題は、通常の minmax 問題を緩和したものです。
この問題を解決するために、基礎となる学習問題に対応する勾配流を近似する連続時間粒子システムである Abram を提案します。
我々は、エイブラムがマッキーン・ウラソフ過程を近似していることを示し、マッキーン・ウラソフ過程がベイジアン敵対的ロバスト性問題の最小化を見つける仮定を与えることによってエイブラムの使用を正当化する。
Abram を離散化する 2 つの方法について説明し、敵対的深層学習のベンチマーク実験におけるその適合性を示します。

要約(オリジナル)

Deep neural networks and other modern machine learning models are often susceptible to adversarial attacks. Indeed, an adversary may often be able to change a model’s prediction through a small, directed perturbation of the model’s input – an issue in safety-critical applications. Adversarially robust machine learning is usually based on a minmax optimisation problem that minimises the machine learning loss under maximisation-based adversarial attacks. In this work, we study adversaries that determine their attack using a Bayesian statistical approach rather than maximisation. The resulting Bayesian adversarial robustness problem is a relaxation of the usual minmax problem. To solve this problem, we propose Abram – a continuous-time particle system that shall approximate the gradient flow corresponding to the underlying learning problem. We show that Abram approximates a McKean-Vlasov process and justify the use of Abram by giving assumptions under which the McKean-Vlasov process finds the minimiser of the Bayesian adversarial robustness problem. We discuss two ways to discretise Abram and show its suitability in benchmark adversarial deep learning experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google