Surprisingly Strong Performance Prediction with Neural Graph Features

要約

パフォーマンス予測はニューラル アーキテクチャ検索 (NAS) プロセスの重要な部分であり、リソースを消費するネットワーク トレーニングを回避することで NAS アルゴリズムを高速化できます。
多くのパフォーマンス予測変数はグラウンド トゥルース パフォーマンスとよく相関していますが、トレーニングされたネットワークの形式でトレーニング データが必要です。
最近、トレーニングなしでネットワーク パフォーマンスを推定する効率的な方法として、ゼロコスト プロキシが提案されています。
ただし、それらはまだ十分に理解されておらず、ネットワーク特性にバイアスがあり、パフォーマンスも制限されています。
ゼロコスト プロキシの欠点に着想を得て、アーキテクチャ グラフのプロパティを簡単に計算できるニューラル グラフ機能 (GRAF) を提案します。
GRAF は、ゼロコストのプロキシやその他の一般的なエンコーディングを上回るパフォーマンスを実現しながら、高速で解釈可能なパフォーマンス予測を提供します。
他のゼロコスト プロキシと組み合わせると、GRAF はわずかなコストでほとんどの既存のパフォーマンス予測を上回ります。

要約(オリジナル)

Performance prediction has been a key part of the neural architecture search (NAS) process, allowing to speed up NAS algorithms by avoiding resource-consuming network training. Although many performance predictors correlate well with ground truth performance, they require training data in the form of trained networks. Recently, zero-cost proxies have been proposed as an efficient method to estimate network performance without any training. However, they are still poorly understood, exhibit biases with network properties, and their performance is limited. Inspired by the drawbacks of zero-cost proxies, we propose neural graph features (GRAF), simple to compute properties of architectural graphs. GRAF offers fast and interpretable performance prediction while outperforming zero-cost proxies and other common encodings. In combination with other zero-cost proxies, GRAF outperforms most existing performance predictors at a fraction of the cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google