Transferrable Surrogates in Expressive Neural Architecture Search Spaces

要約

ニューラルアーキテクチャ検索（NAS）は、そのようなスペースを効果的に検索するためのアーキテクチャの効率的な評価の必要性と、建築的革新を可能にする表現力豊かな幅広い検索スペースの探索のバランスをとる際の課題に直面しています。
コンテキストのない文法に基づいて、非常に表現力のあるNAS検索スペースでの検索を改善するための代理モデルトレーニングを調査します。
i）ゼロコストプロキシメトリックとニューラルグラフ機能（GRAF）を使用してトレーニングされたサロゲートモデルは、既製のLMを微調整することにより、データセット内および超過の両方でアーキテクチャのパフォーマンスのための高い予測力があることを示します。
さらに、膨大なスピードアップの検索目標として直接使用できます。

要約(オリジナル)

Neural architecture search (NAS) faces a challenge in balancing the exploration of expressive, broad search spaces that enable architectural innovation with the need for efficient evaluation of architectures to effectively search such spaces. We investigate surrogate model training for improving search in highly expressive NAS search spaces based on context-free grammars. We show that i) surrogate models trained either using zero-cost-proxy metrics and neural graph features (GRAF) or by fine-tuning an off-the-shelf LM have high predictive power for the performance of architectures both within and across datasets, ii) these surrogates can be used to filter out bad architectures when searching on novel datasets, thereby significantly speeding up search and achieving better final performances, and iii) the surrogates can be further used directly as the search objective for huge speed-ups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google