REAP: A Large-Scale Realistic Adversarial Patch Benchmark

要約

機械学習モデルは、敵対的な摂動の影響を受けやすいことが知られています。
有名な攻撃の 1 つは、敵対的パッチです。これは、モデルが置かれているオブジェクトを誤って予測させる、特別に細工されたパターンを持つステッカーです。
この攻撃は、自動運転車などのカメラに依存するサイバー物理システムにとって重大な脅威となります。
問題の重要性にもかかわらず、この状況で研究を実施することは困難でした。
現実世界での攻撃と防御の評価には非常にコストがかかりますが、合成データは非現実的です。
この研究では、ユーザーが実際の画像に対する現実世界の条件下でのパッチ攻撃を評価できるデジタル ベンチマークである REAP (REalistic Adversarial Patch) ベンチマークを提案します。
Mapillary Vistas データセットの上に構築されたベンチマークには、14,000 を超える交通標識が含まれています。
各標識は、幾何学的変換と照明変換のペアで強化されており、デジタルで生成されたパッチを標識にリアルに適用するために使用できます。
当社のベンチマークを使用して、現実的な条件下で敵対的パッチ攻撃の最初の大規模評価を実行します。
私たちの実験は、敵対的パッチ攻撃の脅威はこれまで考えられていたよりも小さい可能性があり、より単純なデジタル シミュレーションに対する攻撃の成功率は、実際の実際の有効性を予測するものではないことを示唆しています。
ベンチマークは https://github.com/wagner-group/reap-benchmark で公開されています。

要約(オリジナル)

Machine learning models are known to be susceptible to adversarial perturbation. One famous attack is the adversarial patch, a sticker with a particularly crafted pattern that makes the model incorrectly predict the object it is placed on. This attack presents a critical threat to cyber-physical systems that rely on cameras such as autonomous cars. Despite the significance of the problem, conducting research in this setting has been difficult; evaluating attacks and defenses in the real world is exceptionally costly while synthetic data are unrealistic. In this work, we propose the REAP (REalistic Adversarial Patch) benchmark, a digital benchmark that allows the user to evaluate patch attacks on real images, and under real-world conditions. Built on top of the Mapillary Vistas dataset, our benchmark contains over 14,000 traffic signs. Each sign is augmented with a pair of geometric and lighting transformations, which can be used to apply a digitally generated patch realistically onto the sign. Using our benchmark, we perform the first large-scale assessments of adversarial patch attacks under realistic conditions. Our experiments suggest that adversarial patch attacks may present a smaller threat than previously believed and that the success rate of an attack on simpler digital simulations is not predictive of its actual effectiveness in practice. We release our benchmark publicly at https://github.com/wagner-group/reap-benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google