GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks

要約

最適なアーキテクチャとハイパーパラメーターを特定するには、神経アーキテクチャの検索プロセス中に深いニューラルネットワークのパフォーマンスを決定することが不可欠です。
従来、このプロセスでは、各ネットワークのトレーニングと評価が必要であり、これは時間がかかり、リソース集約型です。
ゼロコストのプロキシは、トレーニングなしでパフォーマンスを推定し、従来のトレーニングに代わるものとして機能します。
ただし、最近のプロキシは、多様なシナリオ全体で一般化を欠いていることが多く、予測される精度ではなく相対的なランキングのみを提供します。
これらの制限に対処するために、ランダムな森林回帰を活用して複数の予測因子の強度を組み合わせ、モデルテストの精度を直接予測するゼロコストプロキシのアンサンブルであるGreenFactoryを提案します。
NATSベンチでGreenFactoryを評価し、複数のデータセットで堅牢な結果を達成します。
具体的には、GreenFactoryはNATS-Bench-SSSで高いケンダル相関を達成し、予測されたスコアと実際のパフォーマンスとの実質的な一致を示しています。
同様に、NATS-Bench-TSSでは、CIFAR-10で0.921、CIFAR-100で0.929、Imagenet-16-120で0.908の相関を達成し、両方の検索スペースで信頼性を示します。

要約(オリジナル)

Determining the performance of a Deep Neural Network during Neural Architecture Search processes is essential for identifying optimal architectures and hyperparameters. Traditionally, this process requires training and evaluation of each network, which is time-consuming and resource-intensive. Zero-cost proxies estimate performance without training, serving as an alternative to traditional training. However, recent proxies often lack generalization across diverse scenarios and provide only relative rankings rather than predicted accuracies. To address these limitations, we propose GreenFactory, an ensemble of zero-cost proxies that leverages a random forest regressor to combine multiple predictors’ strengths and directly predict model test accuracy. We evaluate GreenFactory on NATS-Bench, achieving robust results across multiple datasets. Specifically, GreenFactory achieves high Kendall correlations on NATS-Bench-SSS, indicating substantial agreement between its predicted scores and actual performance: 0.907 for CIFAR-10, 0.945 for CIFAR-100, and 0.920 for ImageNet-16-120. Similarly, on NATS-Bench-TSS, we achieve correlations of 0.921 for CIFAR-10, 0.929 for CIFAR-100, and 0.908 for ImageNet-16-120, showcasing its reliability in both search spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google