Susceptibility of Continual Learning Against Adversarial Attacks

要約

継続的（漸進的または生涯）学習の最近の進歩は、壊滅的な結果につながる可能性のある忘却の防止に集中していますが、対処しなければならない2つの未解決の課題があります。
1つ目は、提案手法のロバスト性の評価です。
2つ目は、学習したタスクのセキュリティがほとんど未踏のままであることを保証することです。
この論文は、忘却に対して脆弱である継続的に学習されたタスク（現在のタスクと以前に学習されたタスクの両方を含む）の感受性の包括的な研究を提示します。
敵対的な攻撃に対するタスクのこのような脆弱性は、データの整合性とプライバシーに深刻な問題を引き起こします。
継続的な学習の3つのシナリオすべて（つまり、タスク増分学習、ドメイン増分学習、クラス増分学習）を検討し、3つの正則化ベースの実験、3つのリプレイベースの実験、および応答と模範に基づく1つのハイブリッド手法を検討します。
アプローチ。
これらのメソッドの堅牢性を調べます。
特に、現在または以前に学習したタスクに属するクラスが誤分類されやすいことを示す場合を検討します。
私たちの観察では、敵対的な攻撃に対する継続的な学習アプローチの潜在的な制限を特定しています。
私たちの実証的研究は、研究コミュニティが提案された継続的な学習アプローチの堅牢性を検討し、壊滅的な忘却を軽減するために多大な努力を払うことを推奨しています。

要約(オリジナル)

The recent advances in continual (incremental or lifelong) learning have concentrated on the prevention of forgetting that can lead to catastrophic consequences, but there are two outstanding challenges that must be addressed. The first is the evaluation of the robustness of the proposed methods. The second is ensuring the security of learned tasks remains largely unexplored. This paper presents a comprehensive study of the susceptibility of the continually learned tasks (including both current and previously learned tasks) that are vulnerable to forgetting. Such vulnerability of tasks against adversarial attacks raises profound issues in data integrity and privacy. We consider all three scenarios (i.e, task-incremental leaning, domain-incremental learning and class-incremental learning) of continual learning and explore three regularization-based experiments, three replay-based experiments, and one hybrid technique based on the reply and exemplar approach. We examine the robustness of these methods. In particular, we consider cases where we demonstrate that any class belonging to the current or previously learned tasks is prone to misclassification. Our observations, we identify potential limitations in continual learning approaches against adversarial attacks. Our empirical study recommends that the research community consider the robustness of the proposed continual learning approaches and invest extensive efforts in mitigating catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google