RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies

要約

ニューラル アーキテクチャ検索 (NAS) は、効果的なニューラル ネットワーク構造の自動設計において大きな進歩を遂げましたが、計算負荷が大きくなります。
ワンショット NAS は、重みの共有によって負荷を大幅に軽減し、計算効率を向上させます。
ゼロショット NAS は、トレーニングを行わない初期状態からネットワークのパフォーマンスを予測することで、さらにコストを削減します。
どちらの方法も、「良い」アーキテクチャと「悪い」アーキテクチャを区別すること、つまり、予測されたパフォーマンスと実際のパフォーマンスのランキングの一貫性を区別することを目的としています。
この論文では、ランキングの一貫性を高めるためのランキング蒸留ワンショット NAS (RD-NAS) を提案します。
具体的には、マージンとしてグループ距離を導入することにより、ゼロショット NAS からワンショット NAS へのランキング知識を抽出するマージンサブネットサンプラーを提案します。
NAS-Bench-201 と ResNet ベースの検索スペースの評価では、RD-NAS がランキング能力でそれぞれ 10.7\% と 9.65\% の改善を達成したことを示しています。
私たちのコードは、https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution で入手できます。

要約(オリジナル)

Neural architecture search (NAS) has made tremendous progress in the automatic design of effective neural network structures but suffers from a heavy computational burden. One-shot NAS significantly alleviates the burden through weight sharing and improves computational efficiency. Zero-shot NAS further reduces the cost by predicting the performance of the network from its initial state, which conducts no training. Both methods aim to distinguish between ‘good’ and ‘bad’ architectures, i.e., ranking consistency of predicted and true performance. In this paper, we propose Ranking Distillation one-shot NAS (RD-NAS) to enhance ranking consistency, which utilizes zero-cost proxies as the cheap teacher and adopts the margin ranking loss to distill the ranking knowledge. Specifically, we propose a margin subnet sampler to distill the ranking knowledge from zero-shot NAS to one-shot NAS by introducing Group distance as margin. Our evaluation of the NAS-Bench-201 and ResNet-based search space demonstrates that RD-NAS achieve 10.7\% and 9.65\% improvements in ranking ability, respectively. Our codes are available at https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution

arxiv情報

提供元, 利用サービス

arxiv.jp, Google