Prior-Guided One-shot Neural Architecture Search

要約

ニューラルアーキテクチャの検索方法は、効率的なウェイト共有スーパーネットトレーニングで最適な候補を探します。
ただし、最近の調査では、スタンドアロンアーキテクチャと共有ウェイトネットワーク間のパフォーマンスに関するランキングの一貫性が低いことが示されています。
このホワイトペーパーでは、スーパーネットの順位相関を強化するために、事前ガイド付きワンショットNAS（PGONAS）を紹介します。
具体的には、最初に活性化関数の効果を調査し、スーパーネットでの重みの結合を軽減するために、サンドイッチルールに基づくバランスの取れたサンプリング戦略を提案します。
次に、FLOPとZen-Scoreを採用して、順位相関損失のあるスーパーネットのトレーニングをガイドします。
私たちのPGONASは、CVPR2022のスーパーネットトラックトラックで3位にランクされています。2番目の軽量NASチャレンジです。
コードはhttps://github.com/pprp/CVPR2022-NAS?competition-Track1-3th-solutionで入手できます。

要約(オリジナル)

Neural architecture search methods seek optimal candidates with efficient weight-sharing supernet training. However, recent studies indicate poor ranking consistency about the performance between stand-alone architectures and shared-weight networks. In this paper, we present Prior-Guided One-shot NAS (PGONAS) to strengthen the ranking correlation of supernets. Specifically, we first explore the effect of activation functions and propose a balanced sampling strategy based on the Sandwich Rule to alleviate weight coupling in the supernet. Then, FLOPs and Zen-Score are adopted to guide the training of supernet with ranking correlation loss. Our PGONAS ranks 3rd place in the supernet Track Track of CVPR2022 Second lightweight NAS challenge. Code is available in https://github.com/pprp/CVPR2022-NAS?competition-Track1-3th-solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google