Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters

要約

敵対的攻撃はディープ ニューラル ネットワーク (DNN) に対する潜在的な脅威であることが証明されており、敵対的攻撃を防御するための多くの方法が提案されています。
ただし、堅牢性を高める一方で、クリーンな精度はある程度低下します。これは、精度と堅牢性の間にトレードオフが存在することを意味します。
この論文では、まず同じアーキテクチャのフィルターの重み分布における標準モデルとロバスト モデルの明らかな違いを経験的に見つけ、次にこの現象を勾配正則化の観点から理論的に説明します。これは、この違いが DNN の固有の特性であることを示しています。
したがって、静的なネットワーク アーキテクチャでは、精度と堅牢性を同時に向上させることが困難です。
第 2 に、この観察に基づいて、敵対的重み可変ネットワーク (AW-Net) と呼ばれるサンプルごとの動的ネットワーク アーキテクチャを提案します。これは、「分割してルール」の重み戦略を使用してクリーンな例と敵対的な例を処理することに焦点を当てています。
AW-Net は、入力サンプルによって直接影響を受ける敵対的検出器によって生成された調整信号に基づいて、ネットワークの重みを動的に調整します。
動的なネットワーク アーキテクチャの利点を活用して、クリーンな例と敵対的な例を異なるネットワーク重みで処理できるため、精度と堅牢性を同時に強化できる可能性があります。
一連の実験により、当社の AW-Net はクリーンな例と敵対的な例の両方を処理できるアーキテクチャーに適しており、最先端の堅牢なモデルよりも優れたトレードオフ パフォーマンスを達成できることが実証されています。

要約(オリジナル)

Adversarial attacks have been proven to be potential threats to Deep Neural Networks (DNNs), and many methods are proposed to defend against adversarial attacks. However, while enhancing the robustness, the clean accuracy will decline to a certain extent, implying a trade-off existed between the accuracy and robustness. In this paper, we firstly empirically find an obvious distinction between standard and robust models in the filters’ weight distribution of the same architecture, and then theoretically explain this phenomenon in terms of the gradient regularization, which shows this difference is an intrinsic property for DNNs, and thus a static network architecture is difficult to improve the accuracy and robustness at the same time. Secondly, based on this observation, we propose a sample-wise dynamic network architecture named Adversarial Weight-Varied Network (AW-Net), which focuses on dealing with clean and adversarial examples with a “divide and rule’ weight strategy. The AW-Net dynamically adjusts network’s weights based on regulation signals generated by an adversarial detector, which is directly influenced by the input sample. Benefiting from the dynamic network architecture, clean and adversarial examples can be processed with different network weights, which provides the potentiality to enhance the accuracy and robustness simultaneously. A series of experiments demonstrate that our AW-Net is architecture-friendly to handle both clean and adversarial examples and can achieve better trade-off performance than state-of-the-art robust models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google