Accuracy Prediction for NAS Acceleration using Feature Selection and Extrapolation

要約

候補となるニューラル アーキテクチャの精度を予測することは、NAS ベースのソリューションの重要な機能です。
候補となるアーキテクチャが他の既知のアーキテクチャと同様の特性を持つ場合、予測タスクは既製の回帰アルゴリズムを使用してかなり簡単になります。
ただし、候補となるアーキテクチャが既知のアーキテクチャ空間の外にある場合、回帰モデルは外挿された予測を実行する必要があります。これは困難な作業であるだけでなく、決定木に基づく最も一般的な回帰アルゴリズム ファミリを使用して技術的に不可能です。
.
この作業では、2 つの問題に対処しようとしています。
1 つ目は特徴選択を使用して回帰精度を改善することであり、もう 1 つ目は精度予測タスクの外挿に関する回帰アルゴリズムの評価です。
NAAP-440 データセットを新しい表形式の機能で拡張し、評価に使用する NAAP-440e を導入します。
古いベースラインからの劇的な改善が見られます。つまり、新しいベースラインでは、同じ平均絶対誤差を維持し、古いベースラインで報告された最高のパフォーマンスと比較して、単調性違反がほぼ 2 倍少ない候補アーキテクチャのトレーニング プロセスが 3 分の 1 に短縮されます。
この研究で使用された拡張データセットとコードは、NAAP-440 リポジトリで公開されています。

要約(オリジナル)

Predicting the accuracy of candidate neural architectures is an important capability of NAS-based solutions. When a candidate architecture has properties that are similar to other known architectures, the prediction task is rather straightforward using off-the-shelf regression algorithms. However, when a candidate architecture lies outside of the known space of architectures, a regression model has to perform extrapolated predictions, which is not only a challenging task, but also technically impossible using the most popular regression algorithm families, which are based on decision trees. In this work, we are trying to address two problems. The first one is improving regression accuracy using feature selection, whereas the other one is the evaluation of regression algorithms on extrapolating accuracy prediction tasks. We extend the NAAP-440 dataset with new tabular features and introduce NAAP-440e, which we use for evaluation. We observe a dramatic improvement from the old baseline, namely, the new baseline requires 3x shorter training processes of candidate architectures, while maintaining the same mean-absolute-error and achieving almost 2x fewer monotonicity violations, compared to the old baseline’s best reported performance. The extended dataset and code used in the study have been made public in the NAAP-440 repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google