BrainWash: A Poisoning Attack to Forget in Continual Learning

要約

継続学習はディープ ラーニング コミュニティ内で大きな注目を集めており、逐次学習という困難な問題に対する有望なソリューションを提供します。
しかし、このパラダイムのほとんど解明されていない側面は、特に忘却を促すことを目的とした敵対的な攻撃に対して脆弱であることです。
この論文では、継続的な学習者に忘却を課すために調整された新しいデータポイズニング手法である「BrainWash」を紹介します。
BrainWash ノイズをさまざまなベースラインに追加することで、これらの継続的学習ベースラインを使用している場合でも、訓練された継続的学習者が以前に学習したタスクを壊滅的に忘れてしまう仕組みを実証します。
私たちのアプローチの重要な特徴は、攻撃者が以前のタスクのデータにアクセスする必要がなく、モデルの現在のパラメーターと最新のタスクに属するデータだけで武装できることです。
私たちの広範な実験では、BrainWash の有効性が強調され、さまざまな正則化ベースの継続学習方法におけるパフォーマンスの低下が示されています。

要約(オリジナル)

Continual learning has gained substantial attention within the deep learning community, offering promising solutions to the challenging problem of sequential learning. Yet, a largely unexplored facet of this paradigm is its susceptibility to adversarial attacks, especially with the aim of inducing forgetting. In this paper, we introduce ‘BrainWash,’ a novel data poisoning method tailored to impose forgetting on a continual learner. By adding the BrainWash noise to a variety of baselines, we demonstrate how a trained continual learner can be induced to forget its previously learned tasks catastrophically, even when using these continual learning baselines. An important feature of our approach is that the attacker requires no access to previous tasks’ data and is armed merely with the model’s current parameters and the data belonging to the most recent task. Our extensive experiments highlight the efficacy of BrainWash, showcasing degradation in performance across various regularization-based continual learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google