Hyperparameter Learning under Data Poisoning: Analysis of the Influence of Regularization via Multiobjective Bilevel Optimization

要約

機械学習（ML）アルゴリズムは、アルゴリズムの性能を意図的に低下させるために学習データの一部が操作されるポイズニング攻撃に弱い。最適化攻撃は2値最適化問題として定式化でき、最悪のシナリオにおける頑健性の評価に役立つ。我々は、一般的にハイパーパラメータが一定であると仮定する現在のアプローチが、アルゴリズムの頑健性と正則化の影響について過度に悲観的な見方を導くことを明らかにする。我々は、ハイパーパラメータに対する攻撃の影響を考慮し、攻撃を多目的バイレベル最適化問題としてモデル化する、新しい最適攻撃定式化を提案する。これにより、最適な攻撃を定式化し、ハイパーパラメータを学習し、最悪の条件下での頑健性を評価することができる。この攻撃定式化を$L_2$と$L_1$正則化を用いたいくつかのML分類器に適用する。複数のデータセットを用いた評価により、従来の戦略の限界を確認し、$L_2$と$L_1$正則化を用いてポイズニング攻撃の効果を弱めることの利点を証明する。

要約(オリジナル)

Machine Learning (ML) algorithms are vulnerable to poisoning attacks, where a fraction of the training data is manipulated to deliberately degrade the algorithms’ performance. Optimal attacks can be formulated as bilevel optimization problems and help to assess their robustness in worst-case scenarios. We show that current approaches, which typically assume that hyperparameters remain constant, lead to an overly pessimistic view of the algorithms’ robustness and of the impact of regularization. We propose a novel optimal attack formulation that considers the effect of the attack on the hyperparameters and models the attack as a multiobjective bilevel optimization problem. This allows to formulate optimal attacks, learn hyperparameters and evaluate robustness under worst-case conditions. We apply this attack formulation to several ML classifiers using $L_2$ and $L_1$ regularization. Our evaluation on multiple datasets confirms the limitations of previous strategies and evidences the benefits of using $L_2$ and $L_1$ regularization to dampen the effect of poisoning attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL