Fragility, Robustness and Antifragility in Deep Learning

要約

我々は、DNNパラメータの脆弱性、堅牢性、反脆弱性の特性を識別するシナプスフィルタの形で、ネットワークパラメータを除去するための信号処理技術に基づいたディープニューラルネットワーク（DNN）の体系的な分析を提案します。
私たちが提案する分析では、DNN がシナプス フィルタリングを受けるときに、クリーンなテスト データセットと敵対的に摂動されたテスト データセットの両方に対して、DNN のパフォーマンスがマイナス、不変、またはプラスの影響を受けるかどうかを調査します。
(i) クリーン データセット、(ii) 敵対的データセット、および (iii) クリーン データセットと敵対的データセットのパフォーマンスの差に基づいて、DNN パラメーターの脆弱性、堅牢性、および脆弱性防止の特性を定量化するための 3 つの \textit{フィルタリング スコア} を定義します。
データセット。
MNIST、CIFAR10、Tiny ImageNet データセットの ResNet-18、ResNet-50、SqueezeNet-v1.1、および ShuffleNet V2 x1.0 ネットワーク アーキテクチャに関して提案された系統的分析を検証します。
特定のネットワーク アーキテクチャのフィルタリング スコアは、学習エポックにわたってさまざまなデータセット間で特性が不変であるネットワーク パラメーターを識別します。
逆に、特定のデータセットについては、フィルタリング スコアによって、異なるネットワーク アーキテクチャ間で特性が不変のパラメータが特定されます。
我々のシナプスフィルタリング手法は、任意のエポックでロバストパラメータとアンチフラジャイルパラメータのみを選択的に再トレーニングした場合に、敵対的データセット上のResNetモデルとShuffleNetモデルのテスト精度を向上させることを示し、モデルのロバスト性の向上における提案された戦略の適用を実証します。

要約(オリジナル)

We propose a systematic analysis of deep neural networks (DNNs) based on a signal processing technique for network parameter removal, in the form of synaptic filters that identifies the fragility, robustness and antifragility characteristics of DNN parameters. Our proposed analysis investigates if the DNN performance is impacted negatively, invariantly, or positively on both clean and adversarially perturbed test datasets when the DNN undergoes synaptic filtering. We define three \textit{filtering scores} for quantifying the fragility, robustness and antifragility characteristics of DNN parameters based on the performances for (i) clean dataset, (ii) adversarial dataset, and (iii) the difference in performances of clean and adversarial datasets. We validate the proposed systematic analysis on ResNet-18, ResNet-50, SqueezeNet-v1.1 and ShuffleNet V2 x1.0 network architectures for MNIST, CIFAR10 and Tiny ImageNet datasets. The filtering scores, for a given network architecture, identify network parameters that are invariant in characteristics across different datasets over learning epochs. Vice-versa, for a given dataset, the filtering scores identify the parameters that are invariant in characteristics across different network architectures. We show that our synaptic filtering method improves the test accuracy of ResNet and ShuffleNet models on adversarial datasets when only the robust and antifragile parameters are selectively retrained at any given epoch, thus demonstrating applications of the proposed strategy in improving model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google