Machine Learning Security against Data Poisoning: Are We There Yet?

要約

機械学習 (ML) の最近の成功は、さまざまなアプリケーションでのコンピューティング能力と大量のデータの可用性の増加によって促進されています。
ただし、そのようなデータが学習プロセスを誤解させるために悪意を持って操作された場合、結果として得られるモデルの信頼性が損なわれる可能性があります。
この記事では、まず、ML モデルの学習に使用されるトレーニング データを侵害するポイズニング攻撃について説明します。これには、全体的なパフォーマンスの低下、特定のテスト サンプルの予測の操作、さらにはモデルへのバックドアの埋め込みを目的とした攻撃が含まれます。
次に、基本的なセキュリティ原則を使用するか、ML 指向の防御メカニズムを導入することによって、これらの攻撃を軽減する方法について説明します。
データポイズニング攻撃に対する ML モデルの信頼性を評価および改善するのに適したテスト方法とベンチマークの開発を妨げている、関連する未解決の課題をいくつか定式化してこの記事を締めくくります。

要約(オリジナル)

The recent success of machine learning (ML) has been fueled by the increasing availability of computing power and large amounts of data in many different applications. However, the trustworthiness of the resulting models can be compromised when such data is maliciously manipulated to mislead the learning process. In this article, we first review poisoning attacks that compromise the training data used to learn ML models, including attacks that aim to reduce the overall performance, manipulate the predictions on specific test samples, and even implant backdoors in the model. We then discuss how to mitigate these attacks using basic security principles, or by deploying ML-oriented defensive mechanisms. We conclude our article by formulating some relevant open challenges which are hindering the development of testing methods and benchmarks suitable for assessing and improving the trustworthiness of ML models against data poisoning attacks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google