Maintaining Adversarial Robustness in Continuous Learning

要約

敵対的な堅牢性は、機械学習システムのセキュリティと信頼性に不可欠です。
ただし、防御アルゴリズムによって強化された敵対者の堅牢性は、新しいタスクを学習するためにニューラル ネットワークの重みが更新されると簡単に消去されます。
この脆弱性に対処するには、堅牢な継続学習の観点からニューラル ネットワークの機能を向上させることが不可欠です。
特に、重みの更新に使用する前にバックプロパゲーション勾配を重要な部分空間に直交投影することにより、以前のデータからのサンプル勾配を効果的に安定化する新しい勾配投影手法を提案します。
この手法は、サンプル勾配平滑化を通じて防御アルゴリズムのクラスと連携することで堅牢性を維持できます。
Split-CIFAR100 や Split-miniImageNet を含む 4 つのベンチマークでの実験結果は、強力な敵対的攻撃に直面した場合でも、継続学習中の堅牢性の急激な低下を軽減する点で、提案されたアプローチの優位性を示しています。

要約(オリジナル)

Adversarial robustness is essential for security and reliability of machine learning systems. However, adversarial robustness enhanced by defense algorithms is easily erased as the neural network’s weights update to learn new tasks. To address this vulnerability, it is essential to improve the capability of neural networks in terms of robust continual learning. Specially, we propose a novel gradient projection technique that effectively stabilizes sample gradients from previous data by orthogonally projecting back-propagation gradients onto a crucial subspace before using them for weight updates. This technique can maintaining robustness by collaborating with a class of defense algorithms through sample gradient smoothing. The experimental results on four benchmarks including Split-CIFAR100 and Split-miniImageNet, demonstrate that the superiority of the proposed approach in mitigating rapidly degradation of robustness during continual learning even when facing strong adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google