Adversary Aware Continual Learning

要約

タイトル：Adversary Aware Continual Learning

要約：

– クラスの増分学習アプローチは、モデルが新しい情報（クラス）を順番に学ぶことができるため、以前に獲得した情報（クラス）を保持することができるため、有用です。
– しかし、このようなアプローチは、敵対的なバックドア攻撃に非常に脆弱であることが示されており、知的な攻撃者がトレーニング中に知覚できないバックドアパターンの形でわずかな情報を導入することで、特定のタスクまたはクラスを意図的に忘れさせることができます。
– 本稿では、攻撃者の主要な強みである、目に見えないバックドアパターンを人間には気づかれないようにすることに対して防御的なフレームワークを提案し、トレーニング中により強力なパターンを学習することで、攻撃者の目に見えない弱いパターンに打ち勝つことを提案しています。
– CIFAR-10、CIFAR-100、MNISTデータセットの継続的学習ベンチマークバリアントを使用した、さまざまな一般的に使用される再生ベース（生成的および正確な再生ベースの両方）のクラスの増分学習アルゴリズムを通じて提案された防御メカニズムの効果を示しています。
– 最も注目すべきは、我々の提案された防御フレームワークは、防御者が攻撃者のターゲットタスクとターゲットクラスを知っていることを前提としていません。防御者は攻撃者のパターンの形状、サイズ、および位置にも無知です。
– 攻撃者のターゲットタスク、攻撃者のターゲットクラス、および攻撃者の目に見えないパターンに対する知識がない場合でも、提案された防御フレームワークは、クラスの増分学習アルゴリズムのパフォーマンスを大幅に改善することを示しています。
– 提案された防御フレームワークをAdversary Aware Continual Learning（AACL）と呼びます。

要約(オリジナル)

Class incremental learning approaches are useful as they help the model to learn new information (classes) sequentially, while also retaining the previously acquired information (classes). However, it has been shown that such approaches are extremely vulnerable to the adversarial backdoor attacks, where an intelligent adversary can introduce small amount of misinformation to the model in the form of imperceptible backdoor pattern during training to cause deliberate forgetting of a specific task or class at test time. In this work, we propose a novel defensive framework to counter such an insidious attack where, we use the attacker’s primary strength-hiding the backdoor pattern by making it imperceptible to humans-against it, and propose to learn a perceptible (stronger) pattern (also during the training) that can overpower the attacker’s imperceptible (weaker) pattern. We demonstrate the effectiveness of the proposed defensive mechanism through various commonly used Replay-based (both generative and exact replay-based) class incremental learning algorithms using continual learning benchmark variants of CIFAR-10, CIFAR-100, and MNIST datasets. Most noteworthy, our proposed defensive framework does not assume that the attacker’s target task and target class is known to the defender. The defender is also unaware of the shape, size, and location of the attacker’s pattern. We show that our proposed defensive framework considerably improves the performance of class incremental learning algorithms with no knowledge of the attacker’s target task, attacker’s target class, and attacker’s imperceptible pattern. We term our defensive framework as Adversary Aware Continual Learning (AACL).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI