Wild Patterns Reloaded: A Survey of Machine Learning Security against Training Data Poisoning

要約

機械学習の成功は、コンピューティング パワーと大規模なトレーニング データセットの可用性の向上によって促進されます。
トレーニング データは、新しいモデルを学習したり、既存のモデルを更新したりするために使用されます。これは、テスト時に遭遇するデータを十分に代表するものであると想定しています。
この仮定は、トレーニング データを操作してテスト時のモデルのパフォーマンスを低下させる攻撃であるポイズニングの脅威によって挑戦されます。
ポイズニングは業界のアプリケーションに関連する脅威として認識されており、これまでにさまざまな攻撃と防御が提案されてきましたが、この分野の完全な体系化と批判的なレビューはまだ行われていません。
この調査では、機械学習におけるポイズニング攻撃と防御の包括的な体系化を提供し、過去 15 年間にこの分野で発表された 100 以上の論文をレビューします。
まず、現在の脅威モデルと攻撃を分類し、それに応じて既存の防御を整理します。
私たちは主にコンピューター ビジョン アプリケーションに焦点を当てていますが、私たちの体系化には、他のデータ モダリティに対する最先端の攻撃と防御も含まれていると主張しています。
最後に、中毒の研究のための既存のリソースについて説明し、この研究分野における現在の制限と未解決の研究課題に光を当てます。

要約(オリジナル)

The success of machine learning is fueled by the increasing availability of computing power and large training datasets. The training data is used to learn new models or update existing ones, assuming that it is sufficiently representative of the data that will be encountered at test time. This assumption is challenged by the threat of poisoning, an attack that manipulates the training data to compromise the model’s performance at test time. Although poisoning has been acknowledged as a relevant threat in industry applications, and a variety of different attacks and defenses have been proposed so far, a complete systematization and critical review of the field is still missing. In this survey, we provide a comprehensive systematization of poisoning attacks and defenses in machine learning, reviewing more than 100 papers published in the field in the last 15 years. We start by categorizing the current threat models and attacks, and then organize existing defenses accordingly. While we focus mostly on computer-vision applications, we argue that our systematization also encompasses state-of-the-art attacks and defenses for other data modalities. Finally, we discuss existing resources for research in poisoning, and shed light on the current limitations and open research questions in this research field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google