Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective

要約

畳み込みニューラル ネットワークの敵対的ロバスト性を改善するための取り組みは、主に、より効果的な敵対的トレーニング方法の開発に焦点を当ててきました。
対照的に、敵対的な堅牢性に対するアーキテクチャ要素 (トポロジ、深さ、幅など) の役割の分析にはほとんど注意が払われませんでした。
このホワイト ペーパーでは、このギャップを埋め、敵対的ロバスト性に対するアーキテクチャ設計の影響に関する全体論的研究を提示しようとしています。
残差ネットワークに焦点を当て、ブロック レベル (つまり、トポロジ、カーネル サイズ、アクティベーション、および正規化) でのアーキテクチャ設計と、ネットワーク スケーリング レベル (つまり、ネットワーク内の各ブロックの深さと幅) でのアーキテクチャ設計を検討します。
どちらの場合も、最初に体系的なアブレーション実験を通じて洞察を導き出します。
次に、RobustResBlock と呼ばれる堅牢な残差ブロックと、RobustScaling と呼ばれる複合スケーリング ルールを設計して、目的の FLOP カウントで深さと幅を分散させます。
最後に、RobustResBlock と RobustScaling を組み合わせて、広範なモデル容量にまたがる、敵対的に堅牢な残差ネットワーク、RobustResNets のポートフォリオを提示します。
複数のデータセットと敵対的攻撃にわたる実験的検証は、RobustResNets が標準の WRN と他の既存の堅牢なアーキテクチャの両方を一貫して上回っていることを示しており、2 ドルでありながら、追加データなしで 61.1%、500K 外部データで 63.7% という最先端の AutoAttack の堅牢な精度を達成しています。
\times$ パラメータに関してはよりコンパクトです。
コードは \url{ https://github.com/zhichao-lu/robust-residual-network} で入手できます

要約(オリジナル)

Efforts to improve the adversarial robustness of convolutional neural networks have primarily focused on developing more effective adversarial training methods. In contrast, little attention was devoted to analyzing the role of architectural elements (such as topology, depth, and width) on adversarial robustness. This paper seeks to bridge this gap and present a holistic study on the impact of architectural design on adversarial robustness. We focus on residual networks and consider architecture design at the block level, i.e., topology, kernel size, activation, and normalization, as well as at the network scaling level, i.e., depth and width of each block in the network. In both cases, we first derive insights through systematic ablative experiments. Then we design a robust residual block, dubbed RobustResBlock, and a compound scaling rule, dubbed RobustScaling, to distribute depth and width at the desired FLOP count. Finally, we combine RobustResBlock and RobustScaling and present a portfolio of adversarially robust residual networks, RobustResNets, spanning a broad spectrum of model capacities. Experimental validation across multiple datasets and adversarial attacks demonstrate that RobustResNets consistently outperform both the standard WRNs and other existing robust architectures, achieving state-of-the-art AutoAttack robust accuracy of 61.1% without additional data and 63.7% with 500K external data while being $2\times$ more compact in terms of parameters. Code is available at \url{ https://github.com/zhichao-lu/robust-residual-network}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google