Data Poisoning Attack Aiming the Vulnerability of Continual Learning

要約

一般に、正則化に基づく継続学習モデルは、記憶やプライバシーに関連する実世界の制約を模倣するために、過去のタスクデータへのアクセスを制限する。しかしこのことは、各タスクのパフォーマンスを追跡できないという問題を引き起こす。要するに、現在の継続的学習手法は、以前のタスクに対する攻撃の影響を受けやすい。我々は、新しいタスクの学習プロセスで使用可能な、単純なタスク固有のデータポイズニング攻撃を提示することで、正則化に基づく継続的学習法の脆弱性を示す。提案する攻撃により生成された学習データは、攻撃者が標的とする特定のタスクにおいて性能劣化を引き起こす。我々は、MNISTデータセットの変種を用いて訓練された、2つの代表的な正則化ベースの継続的学習手法であるElastic Weight Consolidation (EWC)とSynaptic Intelligence (SI)に対する攻撃を実験する。実験結果は本稿で提案する脆弱性を正当化し、敵対的攻撃に対して頑健な継続学習モデルを開発することの重要性を示す。

要約(オリジナル)

Generally, regularization-based continual learning models limit access to the previous task data to imitate the real-world constraints related to memory and privacy. However, this introduces a problem in these models by not being able to track the performance on each task. In essence, current continual learning methods are susceptible to attacks on previous tasks. We demonstrate the vulnerability of regularization-based continual learning methods by presenting a simple task-specific data poisoning attack that can be used in the learning process of a new task. Training data generated by the proposed attack causes performance degradation on a specific task targeted by the attacker. We experiment with the attack on the two representative regularization-based continual learning methods, Elastic Weight Consolidation (EWC) and Synaptic Intelligence (SI), trained with variants of MNIST dataset. The experiment results justify the vulnerability proposed in this paper and demonstrate the importance of developing continual learning models that are robust to adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL