The race to robustness: exploiting fragile models for urban camouflage and the imperative for machine learning security

要約

Adversarial Machine Learning (AML) は、深層学習最適化のアーキテクチャを幅広く活用するさまざまな方法を通じて、機械学習 (ML) アルゴリズムを破壊する機能を表します。
この論文では、ホワイト ボックス設定とブラック ボックス設定の両方で画像認識からオブジェクトを偽装するために使用できる、コンピューター ビジョン ベースの AML 攻撃手法の分散インスタンス化を実装する新しい手法である分散敵対的領域 (DAR) について説明します。
都市環境で使用される物体検出モデルのコンテキストを考慮し、MobileNetV2、NasNetMobile、および DenseNet169 モデルを ImageNet データセットの関連画像のサブセットに対してベンチマークします。
最適なパラメーター (サイズ、数、摂動方法) を評価し、画像全体に摂動を与える最先端の AML 技術と比較します。
DAR は平均で 40.4% の信頼度の低下を引き起こす可能性がありますが、画像全体または焦点オブジェクトを摂動させる必要がないという利点があることがわかりました。
DAR 手法は、意図的にシンプルなアプローチであり、その目的は、ほとんどスキルを持たない攻撃者が、すでに製品化されている可能性のあるモデルをどのように攻撃できるかを強調し、基本的な物体検出モデルの脆弱性を強調することです。
私たちはこれを、AML だけでなく ML セキュリティの分野への貢献として紹介します。
この論文は、新しい敵対的手法、DAR と他の AML 手法間の独自の比較に貢献し、都市迷彩と ML セキュリティとモデルの堅牢性の必要性という新しい文脈でそれを組み立てます。

要約(オリジナル)

Adversarial Machine Learning (AML) represents the ability to disrupt Machine Learning (ML) algorithms through a range of methods that broadly exploit the architecture of deep learning optimisation. This paper presents Distributed Adversarial Regions (DAR), a novel method that implements distributed instantiations of computer vision-based AML attack methods that may be used to disguise objects from image recognition in both white and black box settings. We consider the context of object detection models used in urban environments, and benchmark the MobileNetV2, NasNetMobile and DenseNet169 models against a subset of relevant images from the ImageNet dataset. We evaluate optimal parameters (size, number and perturbation method), and compare to state-of-the-art AML techniques that perturb the entire image. We find that DARs can cause a reduction in confidence of 40.4% on average, but with the benefit of not requiring the entire image, or the focal object, to be perturbed. The DAR method is a deliberately simple approach where the intention is to highlight how an adversary with very little skill could attack models that may already be productionised, and to emphasise the fragility of foundational object detection models. We present this as a contribution to the field of ML security as well as AML. This paper contributes a novel adversarial method, an original comparison between DARs and other AML methods, and frames it in a new context – that of urban camouflage and the necessity for ML security and model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google