Machine Learning Security against Data Poisoning: Are We There Yet?

要約

最近の機械学習 (ML) の成功は、コンピューティング能力の可用性の向上と、さまざまなアプリケーションでの大量のデータによって促進されています。
ただし、そのようなデータが悪意を持って操作されて学習プロセスを誤解させると、結果として得られるモデルの信頼性が損なわれる可能性があります。
この記事では、全体的なパフォーマンスの低下、特定のテスト サンプルの予測の操作、さらにはモデルへのバックドアの埋め込みを目的とする攻撃を含む、ML モデルの学習に使用されるトレーニング データを侵害するポイズニング攻撃を最初に確認します。
次に、基本的なセキュリティ原則を使用するか、ML 指向の防御メカニズムを展開することによって、これらの攻撃を軽減する方法について説明します。
データ ポイズニング攻撃に対する ML モデルの信頼性を評価および改善するのに適したテスト方法とベンチマークの開発を妨げている、いくつかの関連する未解決の課題を定式化して、記事を締めくくります。

要約(オリジナル)

The recent success of machine learning (ML) has been fueled by the increasing availability of computing power and large amounts of data in many different applications. However, the trustworthiness of the resulting models can be compromised when such data is maliciously manipulated to mislead the learning process. In this article, we first review poisoning attacks that compromise the training data used to learn ML models, including attacks that aim to reduce the overall performance, manipulate the predictions on specific test samples, and even implant backdoors in the model. We then discuss how to mitigate these attacks using basic security principles, or by deploying ML-oriented defensive mechanisms. We conclude our article by formulating some relevant open challenges which are hindering the development of testing methods and benchmarks suitable for assessing and improving the trustworthiness of ML models against data poisoning attacks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google