Multi-trial Neural Architecture Search with Lottery Tickets

要約

この論文では、人間の介入が少ない効率的なマルチトライアル進化ベースのNASメソッドであるMENASを提案します。
具体的には、ImageNet-1K の拡張検索空間 (MobileNet3-MT) を提案し、2 つの側面から検索効率を改善します。
最初に、MENAS はアーキテクチャと最適なプルーニング候補 (宝くじ) を共同で探索し、人口の平均モデルを徐々にスリム化します。
各モデルは、最初に面倒なネットワークを検索してからプルーニングを実行する代わりに、早期停止でトレーニングされ、宝くじチケットに置き換えられます。
次に、親ネットワークと子ネットワーク間で重みを共有することでトレーニング コストを償却することを目的として、マルチトライアル NAS 専用の個別の重み共有を導入します。
スーパーネットでの重みの共有と比較して、個々の重みの共有は、より信頼性の高いランクの一貫性を実現し、高度なスーパーネットのトレーニングを防ぐことで実装が容易になります。
さらに、小さなモデルに閉じ込められた進化プロセスを正則化するために、親集団を定式化するときに最大モデルの小さな比率を保持します。これは、モデルのパフォーマンスを向上させるのに有益であることが証明されています。
広範な実験結果は、MENAS の優位性を示しています。
ImageNet-1K データベースでは、MENAS は、知識の抽出や画像解像度の向上を必要とせずに、80.5% のトップ 1 精度を達成します。
コードとモデルが利用可能になります。

要約(オリジナル)

In this paper, we propose MENAS, an efficient multi-trial evolution-based NAS method with less human intervention. Specifically, we propose an enlarged search space (MobileNet3-MT) for ImageNet-1K and improve the search efficiency from two aspects. First, MENAS jointly explores architectures and optimal pruned candidates (Lottery Tickets), gradually slimming the average model in populations. Each model is trained with an early stop and replaced by its Lottery Tickets, instead of first searching for a cumbersome network then conducting pruning. Second, we introduce individual weight sharing, which is dedicated to multi-trial NAS, aiming to amortize the training costs by sharing weights between parents and child networks. Compared with weight sharing in supernet, individual weight sharing attains more reliable rank consistency, meanwhile is easy to implement by preventing the sophisticated supernet training. Moreover, to regularize the evolutionary process from trapped in small models, we preserve a small ratio of the largest models when formulating parent populations, which is proved beneficial to enhance model performance. Extensive experiment results demonstrate the superiority of MENAS. On the ImageNet-1K database, MENAS achieves 80.5% top-1 accuracy without involving knowledge distillation or larger image resolution. Code and models will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google