CR-LSO: Convex Neural Architecture Optimization in the Latent Space of Graph Variational Autoencoder with Input Convex Neural Networks

要約

潜在空間最適化（LSO）に基づくニューラルアーキテクチャ検索（NAS）メソッドでは、深い生成モデルが、個別のニューラルアーキテクチャを連続潜在空間に埋め込むように訓練されています。
この場合、連続空間で動作するさまざまな最適化アルゴリズムを実装して、ニューラルアーキテクチャを検索できます。
ただし、潜在変数の最適化は、潜在空間からアーキテクチャのパフォーマンスへのマッピングは一般に非凸であるため、勾配ベースのLSOにとって困難です。
この問題に取り組むために、このペーパーでは、凸型アーキテクチャのパフォーマンスマッピングを取得するために、潜在空間の学習プロセスを正規化することを目的とした、凸の正規化潜在スペース最適化（CR-LSO）メソッドを開発します。
具体的には、CR-LSOはグラフ変異オートエンコーダー（G-VAE）をトレーニングして、離散アーキテクチャの連続表現を学習します。
同時に、潜在空間の学習プロセスは、入力凸ニューラルネットワーク（ICNN）の保証された凸性によって正規化されます。
このようにして、G-Vaeは、アーキテクチャ表現からアーキテクチャのパフォーマンスへの凸マッピングを学習せざるを得ません。
以下、CR-LSOはICNNを使用してパフォーマンスマッピングに近似し、推定勾配をレバレッジして神経アーキテクチャ表現を最適化します。
3つの一般的なNASベンチマークでの実験結果は、CR-LSOが計算の複雑さとアーキテクチャパフォーマンスの両方の観点から競争力のある評価結果を達成することを示しています。

要約(オリジナル)

In neural architecture search (NAS) methods based on latent space optimization (LSO), a deep generative model is trained to embed discrete neural architectures into a continuous latent space. In this case, different optimization algorithms that operate in the continuous space can be implemented to search neural architectures. However, the optimization of latent variables is challenging for gradient-based LSO since the mapping from the latent space to the architecture performance is generally non-convex. To tackle this problem, this paper develops a convexity regularized latent space optimization (CR-LSO) method, which aims to regularize the learning process of latent space in order to obtain a convex architecture performance mapping. Specifically, CR-LSO trains a graph variational autoencoder (G-VAE) to learn the continuous representations of discrete architectures. Simultaneously, the learning process of latent space is regularized by the guaranteed convexity of input convex neural networks (ICNNs). In this way, the G-VAE is forced to learn a convex mapping from the architecture representation to the architecture performance. Hereafter, the CR-LSO approximates the performance mapping using the ICNN and leverages the estimated gradient to optimize neural architecture representations. Experimental results on three popular NAS benchmarks show that CR-LSO achieves competitive evaluation results in terms of both computational complexity and architecture performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google