Training-free Neural Architecture Search through Variance of Knowledge of Deep Network Weights

要約

ディープラーニングはコンピュータービジョンに革命をもたらしましたが、ほとんど手作りであり、したがって次味的である可能性のある深いネットワークアーキテクチャを使用して、その大成功を収めました。
Neural Architecture Search（NAS）は、最大の分類精度などの客観的な基準を考慮して、最適なアーキテクチャを体系的に探す明確な最適化パラダイムに従うことにより、このギャップを埋めることを目指しています。
ただし、NASの主な制限は、通常、各候補ネットワークアーキテクチャをゼロからトレーニングする必要があるため、天文学的な計算コストです。
この論文では、フィッシャー情報に基づいた画像分類の精度に関する新しいトレーニングフリーのプロキシを提案することにより、この制限を緩和することを目指しています。
提案されたプロキシは、統計において強力な理論的背景を持ち、ネットワークをトレーニングせずに特定のディープネットワークの予想される画像分類精度を推定できるため、標準NASアルゴリズムの計算コストが大幅に削減されます。
トレーニングフリーのプロキシは、3つのパブリックデータセットと2つの検索スペースで最先端の結果を達成します。以前に提案されたメトリックを使用して評価した場合、および私たちが提案する新しいメトリックを使用して、実用にとってより有益です
NASアプリケーション。
ソースコードは、http：//www.github.com/ondratybl/vkdnwで公開されています

要約(オリジナル)

Deep learning has revolutionized computer vision, but it achieved its tremendous success using deep network architectures which are mostly hand-crafted and therefore likely suboptimal. Neural Architecture Search (NAS) aims to bridge this gap by following a well-defined optimization paradigm which systematically looks for the best architecture, given objective criterion such as maximal classification accuracy. The main limitation of NAS is however its astronomical computational cost, as it typically requires training each candidate network architecture from scratch. In this paper, we aim to alleviate this limitation by proposing a novel training-free proxy for image classification accuracy based on Fisher Information. The proposed proxy has a strong theoretical background in statistics and it allows estimating expected image classification accuracy of a given deep network without training the network, thus significantly reducing computational cost of standard NAS algorithms. Our training-free proxy achieves state-of-the-art results on three public datasets and in two search spaces, both when evaluated using previously proposed metrics, as well as using a new metric that we propose which we demonstrate is more informative for practical NAS applications. The source code is publicly available at http://www.github.com/ondratybl/VKDNW

arxiv情報

提供元, 利用サービス

arxiv.jp, Google