NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance

要約

人工ニューラル ネットワークは、自然言語処理や画像認識など、さまざまな用途における最先端の機械学習モデルであることがわかっています。
ただし、高性能のニューラル ネットワークを構築するのは骨の折れる作業であり、かなりのコンピューティング能力が必要です。
Neural Architecture Search (NAS) は、潜在的な候補のセットから最適なネットワークを自動的に選択することで、この問題に対処します。
多くの NAS 手法では依然として (一部の) ニューラル ネットワークのトレーニングが必要ですが、ゼロコスト プロキシはトレーニングなしで最適なネットワークを特定することを約束します。
この研究では、ゼロコスト プロキシ Network Expressivity by Activation Rank (NEAR) を提案します。
これは、アクティベーション前およびアクティベーション後のマトリックスの有効ランク、つまりアクティベーション関数を適用する前後のニューラル ネットワーク層の値に基づいています。
このネットワーク スコアと NAS-Bench-101 および NATS-Bench-SSS/TSS のモデル精度の間の最先端の相関関係を実証します。
さらに、多層パーセプトロンの最適な層サイズを推定するための簡単なアプローチを紹介します。
さらに、このスコアを利用して、活性化関数やニューラル ネットワークの重み初期化スキームなどのハイパーパラメーターを選択できることを示します。

要約(オリジナル)

Artificial neural networks have been shown to be state-of-the-art machine learning models in a wide variety of applications, including natural language processing and image recognition. However, building a performant neural network is a laborious task and requires substantial computing power. Neural Architecture Search (NAS) addresses this issue by an automatic selection of the optimal network from a set of potential candidates. While many NAS methods still require training of (some) neural networks, zero-cost proxies promise to identify the optimal network without training. In this work, we propose the zero-cost proxy Network Expressivity by Activation Rank (NEAR). It is based on the effective rank of the pre- and post-activation matrix, i.e., the values of a neural network layer before and after applying its activation function. We demonstrate the cutting-edge correlation between this network score and the model accuracy on NAS-Bench-101 and NATS-Bench-SSS/TSS. In addition, we present a simple approach to estimate the optimal layer sizes in multi-layer perceptrons. Furthermore, we show that this score can be utilized to select hyperparameters such as the activation function and the neural network weight initialization scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google