AIO-P: Expanding Neural Performance Predictors Beyond Image Classification

要約

ニューラル ネットワークのパフォーマンスを評価することは、ディープ ニューラル ネットワークの設計にとって重要ですが、コストのかかる手順です。
ニューラル プレディクターは、アーキテクチャをサンプルとして扱い、特定のタスクでのパフォーマンスを推定することを学習することにより、効率的なソリューションを提供します。
ただし、既存の予測子はタスクに依存し、主に画像分類ベンチマークでニューラル ネットワークのパフォーマンスを推定します。
また、検索スペースに依存します。
各プレディクタは、定義済みのトポロジと一連の操作を使用して、特定のアーキテクチャ検索空間を予測するように設計されています。
この論文では、新しいオールインワン予測子 (AIO-P) を提案します。これは、複数の個別のコンピューター ビジョン (CV) タスク ドメインと複数のアーキテクチャ空間からのアーキテクチャ例でニューラル予測子を事前トレーニングし、目に見えないものに転送することを目的としています。
下流の CV タスクまたはニューラル アーキテクチャ。
一般的なグラフ表現、効率的な予測子の事前トレーニング、知識注入手法、および下流のタスク/スペースに転送する方法について提案した手法について説明します。
広範な実験結果は、AIO-P が、微調整の有無にかかわらず、さまざまなターゲット ダウンストリーム CV タスクで、平均絶対誤差 (MAE) と 0.5 を超える平均絶対誤差 (MAE) およびスピアマンの順位相関 (SRCC) をそれぞれ達成できることを示しています。
ベースラインの。
さらに、AIO-P は、トレーニング中に見られなかった新しいアーキテクチャに直接転送し、それらを正確にランク付けし、FLOP を削減しながらパフォーマンスを維持するように設計されたアルゴリズムと組み合わせると、効果的なパフォーマンス推定器として機能します。

要約(オリジナル)

Evaluating neural network performance is critical to deep neural network design but a costly procedure. Neural predictors provide an efficient solution by treating architectures as samples and learning to estimate their performance on a given task. However, existing predictors are task-dependent, predominantly estimating neural network performance on image classification benchmarks. They are also search-space dependent; each predictor is designed to make predictions for a specific architecture search space with predefined topologies and set of operations. In this paper, we propose a novel All-in-One Predictor (AIO-P), which aims to pretrain neural predictors on architecture examples from multiple, separate computer vision (CV) task domains and multiple architecture spaces, and then transfer to unseen downstream CV tasks or neural architectures. We describe our proposed techniques for general graph representation, efficient predictor pretraining and knowledge infusion techniques, as well as methods to transfer to downstream tasks/spaces. Extensive experimental results show that AIO-P can achieve Mean Absolute Error (MAE) and Spearman’s Rank Correlation (SRCC) below 1% and above 0.5, respectively, on a breadth of target downstream CV tasks with or without fine-tuning, outperforming a number of baselines. Moreover, AIO-P can directly transfer to new architectures not seen during training, accurately rank them and serve as an effective performance estimator when paired with an algorithm designed to preserve performance while reducing FLOPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google