Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation

要約

ニューラルアーキテクチャ探索（NAS）は、ロバストなディープニューラルネットワーク（DNN）アーキテクチャを見つけるための一つの成功した手法として登場した。しかし、既存のNASにおける頑健性評価の多くは、$l_{infty}$ノルムベースの敵対的ノイズのみを考慮している。複数の種類のノイズに対するDNNモデルの頑健性を向上させるためには、NASにおける頑健なアーキテクチャの包括的な評価を検討する必要がある。しかし、ロバスト性評価の種類が増えるにつれて、包括的にロバストアーキテクチャを見つけるのにも時間がかかるようになる。この問題を軽減するために、我々は、マルチフィデリティ評価による包括的なロバストニューラルアーキテクチャの効率的な探索（ES-CRNA-ME）を新たに提案します。具体的には、まず、重み共有ベースのNAS法を用いて、異なる$l_{p}$ノルム攻撃、セマンティック敵対攻撃、複合敵対攻撃など、複数種類の評価の下で包括的なロバストアーキテクチャを検索する。また、相関分析により、類似の評価を取り込み、評価コストを低減することで、堅牢性評価の回数を削減する。最後に、探索コストをさらに低減するために、最適化時のマルチフィデリティオンラインサロゲートを提案する。低忠実度データで構築されたサロゲートを基に、オンライン高忠実度データを利用してサロゲートの微調整を行う。CIFAR10とCIFAR100のデータセットを用いた実験により、提案手法の有効性が示される。

要約(オリジナル)

Neural architecture search (NAS) has emerged as one successful technique to find robust deep neural network (DNN) architectures. However, most existing robustness evaluations in NAS only consider $l_{\infty}$ norm-based adversarial noises. In order to improve the robustness of DNN models against multiple types of noises, it is necessary to consider a comprehensive evaluation in NAS for robust architectures. But with the increasing number of types of robustness evaluations, it also becomes more time-consuming to find comprehensively robust architectures. To alleviate this problem, we propose a novel efficient search of comprehensively robust neural architectures via multi-fidelity evaluation (ES-CRNA-ME). Specifically, we first search for comprehensively robust architectures under multiple types of evaluations using the weight-sharing-based NAS method, including different $l_{p}$ norm attacks, semantic adversarial attacks, and composite adversarial attacks. In addition, we reduce the number of robustness evaluations by the correlation analysis, which can incorporate similar evaluations and decrease the evaluation cost. Finally, we propose a multi-fidelity online surrogate during optimization to further decrease the search cost. On the basis of the surrogate constructed by low-fidelity data, the online high-fidelity data is utilized to finetune the surrogate. Experiments on CIFAR10 and CIFAR100 datasets show the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL