An Evaluation of Zero-Cost Proxies — from Neural Architecture Performance to Model Robustness

要約

ゼロコストのプロキシは現在、頻繁に研究されており、ニューラル アーキテクチャの検索に使用されています。
これらは、トレーニングされていない重みを利用してアーキテクチャのパフォーマンスを予測する優れた能力を示します。
これらの技術により、検索速度が大幅に向上します。
これまでのところ、NAS の分野では、優れたパフォーマンスと堅牢なアーキテクチャの共同研究はあまり注目されていません。
したがって、ゼロコスト プロキシの主な焦点はアーキテクチャの正確な精度ですが、モデルの堅牢性も同等に重要な役割を果たす必要があります。
このペーパーでは、一般的な NAS-Bench-201 検索スペースにおける堅牢性のパフォーマンス予測因子として機能する一般的なゼロコスト プロキシの機能を分析します。
私たちは、ロバスト性のための単一の予測タスクと、クリーンでロバストな精度という共同の複数の目標に興味があります。
さらに、プロキシの機能の重要性を分析し、堅牢性を予測すると、既存のゼロコスト プロキシからの予測タスクがより困難になることを示します。
その結果、モデルの堅牢性を予測するには、いくつかのプロキシを共同で考慮する必要がありますが、クリーンな精度は単一のそのような特徴から回帰する可能性があります。

要約(オリジナル)

Zero-cost proxies are nowadays frequently studied and used to search for neural architectures. They show an impressive ability to predict the performance of architectures by making use of their untrained weights. These techniques allow for immense search speed-ups. So far the joint search for well-performing and robust architectures has received much less attention in the field of NAS. Therefore, the main focus of zero-cost proxies is the clean accuracy of architectures, whereas the model robustness should play an evenly important part. In this paper, we analyze the ability of common zero-cost proxies to serve as performance predictors for robustness in the popular NAS-Bench-201 search space. We are interested in the single prediction task for robustness and the joint multi-objective of clean and robust accuracy. We further analyze the feature importance of the proxies and show that predicting the robustness makes the prediction task from existing zero-cost proxies more challenging. As a result, the joint consideration of several proxies becomes necessary to predict a model’s robustness while the clean accuracy can be regressed from a single such feature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google