Attacks on Online Learners: a Teacher-Student Analysis

要約

機械学習モデルが敵対的攻撃に対して脆弱であることはよく知られています。つまり、モデルの予測を壊滅的に変える可能性のあるデータのアドホックな小さな摂動です。
事前トレーニング済みモデルに対するテスト時攻撃のケースについては多くの文献で研究されていますが、オンライン学習設定における重要な攻撃ケースはこれまでほとんど注目されていませんでした。
この研究では、制御理論の観点を使用して、攻撃者がデータ ラベルを混乱させてオンライン学習者の学習ダイナミクスを操作する可能性があるシナリオを研究します。
教師と生徒の設定で問題の理論的分析を実行し、さまざまな攻撃戦略を考慮し、単純な線形学習器の定常状態の分析結果を取得します。
これらの結果により、攻撃強度が臨界しきい値を超えると、学習者の精度の不連続な移行が発生することが証明されました。
次に、実際のデータを使用して、複雑なアーキテクチャによる学習者に対する攻撃を実証的に研究し、理論的分析の洞察を確認します。
私たちの調査結果は、貪欲な攻撃は、特にデータが小さなバッチでストリーミングされる場合に非常に効率的である可能性があることを示しています。

要約(オリジナル)

Machine learning models are famously vulnerable to adversarial attacks: small ad-hoc perturbations of the data that can catastrophically alter the model predictions. While a large literature has studied the case of test-time attacks on pre-trained models, the important case of attacks in an online learning setting has received little attention so far. In this work, we use a control-theoretical perspective to study the scenario where an attacker may perturb data labels to manipulate the learning dynamics of an online learner. We perform a theoretical analysis of the problem in a teacher-student setup, considering different attack strategies, and obtaining analytical results for the steady state of simple linear learners. These results enable us to prove that a discontinuous transition in the learner’s accuracy occurs when the attack strength exceeds a critical threshold. We then study empirically attacks on learners with complex architectures using real data, confirming the insights of our theoretical analysis. Our findings show that greedy attacks can be extremely efficient, especially when data stream in small batches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google