Robust Neural Architecture Search

要約

タイトル：頑健なニューラルアーキテクチャ検索
要約：
– 近年、ニューラルアーキテクチャ検索（NAS）はますます人気が高くなっている。
– しかし、NASによって生成されたモデルは、さまざまな悪意のある攻撃に対して大きな脆弱性を示す傾向がある。
– 多くの頑健なNAS手法は、NASによって生成されたモデルの堅牢性を向上させるために敵対的トレーニングを利用するが、NASによって生成されたモデルの自然な精度を忽視している。
– 本論文では、高い精度と堅牢性を兼ね備えたアーキテクチャを生成するために、Robust Neural Architecture Search（RNAS）という新しいNAS手法を提案する。
– 探索コストを削減するために、RNASは敵対的な例ではなくノイズ例をアーキテクチャ探索の入力として使用することを提案する。
– 大規模な実験により、RNASが画像分類と敵対的攻撃の両方で最高水準のパフォーマンスを実現し、提案されたRNASが堅牢性と精度の良いトレードオフを実現していることを示す。

要約(オリジナル)

Neural Architectures Search (NAS) becomes more and more popular over these years. However, NAS-generated models tends to suffer greater vulnerability to various malicious attacks. Lots of robust NAS methods leverage adversarial training to enhance the robustness of NAS-generated models, however, they neglected the nature accuracy of NAS-generated models. In our paper, we propose a novel NAS method, Robust Neural Architecture Search (RNAS). To design a regularization term to balance accuracy and robustness, RNAS generates architectures with both high accuracy and good robustness. To reduce search cost, we further propose to use noise examples instead adversarial examples as input to search architectures. Extensive experiments show that RNAS achieves state-of-the-art (SOTA) performance on both image classification and adversarial attacks, which illustrates the proposed RNAS achieves a good tradeoff between robustness and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI