Entropic Score metric: Decoupling Topology and Size in Training-free NAS

要約

ニューラル ネットワークの設計は、特にモバイル サイズのモデルに特有のリソースに制約のあるシナリオでは、複雑で困難な作業となることがよくあります。
ニューラル アーキテクチャ検索は、このプロセスを自動化するための有望なアプローチですが、既存の競合手法では、正確なモデルを生成するために多大なトレーニング時間と計算リソースが必要です。
これらの制限を克服するために、この論文は次のことに貢献します。 i) エントロピック スコアと呼ばれる新しいトレーニング不要のメトリック。これは、その活性化の要素ごとのエントロピーを集約してモデルの表現力を推定します。
ii) モデルのサイズとトポロジを個別に、しかし相乗的に検索するための循環検索アルゴリズム。
Entropic Sc​​ore は、ネットワークのトポロジを検索する際に優れた能力を示し、LogSynflow と適切に組み合わせてモデル サイズを検索すると、エッジ アプリケーション向けの高性能ハイブリッド トランスフォーマーを 1 GPU 時間未満で完全に設計する優れた能力をもたらします。
ImageNet 分類のための最速かつ最も正確な NAS メソッド。

要約(オリジナル)

Neural Networks design is a complex and often daunting task, particularly for resource-constrained scenarios typical of mobile-sized models. Neural Architecture Search is a promising approach to automate this process, but existing competitive methods require large training time and computational resources to generate accurate models. To overcome these limits, this paper contributes with: i) a novel training-free metric, named Entropic Score, to estimate model expressivity through the aggregated element-wise entropy of its activations; ii) a cyclic search algorithm to separately yet synergistically search model size and topology. Entropic Score shows remarkable ability in searching for the topology of the network, and a proper combination with LogSynflow, to search for model size, yields superior capability to completely design high-performance Hybrid Transformers for edge applications in less than 1 GPU hour, resulting in the fastest and most accurate NAS method for ImageNet classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google