Global optimization of graph acquisition functions for neural architecture search

要約

グラフベイジアン最適化（BO）は、神経アーキテクチャ検索（NAS）の強力でデータ効率の高いツールとしての可能性を示しています。
ほとんどの既存のグラフBOワークスは、グラフ代理モデルの開発、つまりネットワークや異なるカーネルのメトリックの開発に焦点を当てており、ネットワーク間の類似性を定量化します。
ただし、グラフ構造を介した離散最適化タスクとしての取得最適化は、グラフ検索スペースと取得関数の策定の複雑さのために十分に研究されていません。
このペーパーでは、グラフカーネルと取得関数を策定するために後で使用される、到達可能性や最短パスなどのプロパティを含むグラフ入力空間の明示的な最適化定式化を示します。
提案されたエンコーディングがグラフ空間の同等の表現であることを理論的に証明し、ノードまたはエッジラベルのいずれかでNASドメインに制限を提供します。
いくつかのNASベンチマークにわたる数値結果は、私たちの方法がほとんどの場合に最適なアーキテクチャを効率的に見つけ、その有効性を強調することを示しています。

要約(オリジナル)

Graph Bayesian optimization (BO) has shown potential as a powerful and data-efficient tool for neural architecture search (NAS). Most existing graph BO works focus on developing graph surrogates models, i.e., metrics of networks and/or different kernels to quantify the similarity between networks. However, the acquisition optimization, as a discrete optimization task over graph structures, is not well studied due to the complexity of formulating the graph search space and acquisition functions. This paper presents explicit optimization formulations for graph input space including properties such as reachability and shortest paths, which are used later to formulate graph kernels and the acquisition function. We theoretically prove that the proposed encoding is an equivalent representation of the graph space and provide restrictions for the NAS domain with either node or edge labels. Numerical results over several NAS benchmarks show that our method efficiently finds the optimal architecture for most cases, highlighting its efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google