Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis

要約

最近提案された訓練不要のNAS法は、訓練段階を放棄し、様々なゼロコストプロキシーをスコアとして設計し、優れたアーキテクチャを特定することで、神経アーキテクチャ探索の計算効率を非常に高めています。本論文では、DARTSにおける操作の重要性を、訓練不要の方法で、パラメータ集約的なバイアスを回避しながら適切に測定することができるかという興味深い問題を提起する。本論文では、この問題をエッジの接続性の観点から検討し、初期化時にDARTSの候補演算の重要度をスコア化する接続性概念ZERO-cost Operation Sensitivity（ZEROS）を定義することで肯定的な答えを提示する。ZEROSをNASに活用するための反復的かつデータに依存しない方法を考案することで、我々の新しい試みは、訓練自由微分可能アーキテクチャ探索（FreeDARTS）と呼ばれるフレームワークを導き出します。Neural Tangent Kernel (NTK)の理論に基づき、提案する接続性スコアが、勾配降下訓練による収束後にDARTSスーパーネットの一般化境界と負に相関することを証明する。さらに、ZEROSがアーキテクチャを選択する際にパラメータを多用するバイアスを暗黙的に回避する方法を理論的に説明し、FreeDARTSによって探索されたアーキテクチャが同等のサイズであることを経験的に示す。一連の探索空間に対して広範な実験を行い、FreeDARTSが神経アーキテクチャ探索のための信頼性の高い効率的なベースラインであることが実証された。

要約(オリジナル)

The recently proposed training-free NAS methods abandon the training phase and design various zero-cost proxies as scores to identify excellent architectures, arousing extreme computational efficiency for neural architecture search. In this paper, we raise an interesting problem: can we properly measure the operation importance in DARTS through a training-free way, with avoiding the parameter-intensive bias? We investigate this question through the lens of edge connectivity, and provide an affirmative answer by defining a connectivity concept, ZERo-cost Operation Sensitivity (ZEROS), to score the importance of candidate operations in DARTS at initialization. By devising an iterative and data-agnostic manner in utilizing ZEROS for NAS, our novel trial leads to a framework called training free differentiable architecture search (FreeDARTS). Based on the theory of Neural Tangent Kernel (NTK), we show the proposed connectivity score provably negatively correlated with the generalization bound of DARTS supernet after convergence under gradient descent training. In addition, we theoretically explain how ZEROS implicitly avoids parameter-intensive bias in selecting architectures, and empirically show the searched architectures by FreeDARTS are of comparable size. Extensive experiments have been conducted on a series of search spaces, and results have demonstrated that FreeDARTS is a reliable and efficient baseline for neural architecture search.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL