A Survey on Multi-Objective Neural Architecture Search

要約

最近、専門家が作成したニューラル アーキテクチャは、ハイパーパラメータ最適化や自動機械学習 (AutoML) と密接な関係があるニューラル アーキテクチャ検索 (NAS) やネットワーク構造の自動生成 (およびチューニング) の利用にますます追い越されています。
初期の NAS が予測精度のみを最適化しようとした後、計算の複雑さ、消費電力、ネットワークのサイズなど、より多くの目標を考慮して最適化を行い、トレードオフに達する多目的ニューラル アーキテクチャ検索 (MONAS) が注目を集めています。
精度と、計算コストなどの他の機能との間の調整です。
本稿では、MONAS 分野の主な研究と最先端の研究の概要を紹介します。
NAS の適切に分類された分類法と定式化から出発して、NAS 分野の以前の調査におけるいくつかの誤った分類に対処し、修正します。
また、使用されているすべての既知の対物レンズのリストを提供し、多数の新しい対物レンズを追加して、その仕様を詳しく説明します。
我々は、最も重要な目的に関する分析を提供し、NAS の多目的最適化手順において、いくつかの目的の確率的特性が決定論的特性とは異なる必要があることを示しました。
私たちは、MONAS 分野における多くの将来の方向性とトピックスを盛り込んでこの文書を完成させます。

要約(オリジナル)

Recently, the expert-crafted neural architectures is increasing overtaken by the utilization of neural architecture search (NAS) and automatic generation (and tuning) of network structures which has a close relation to the Hyperparameter Optimization and Auto Machine Learning (AutoML). After the earlier NAS attempts to optimize only the prediction accuracy, Multi-Objective Neural architecture Search (MONAS) has been attracting attentions which considers more goals such as computational complexity, power consumption, and size of the network for optimization, reaching a trade-off between the accuracy and other features like the computational cost. In this paper, we present an overview of principal and state-of-the-art works in the field of MONAS. Starting from a well-categorized taxonomy and formulation for the NAS, we address and correct some miscategorizations in previous surveys of the NAS field. We also provide a list of all known objectives used and add a number of new ones and elaborate their specifications. We have provides analyses about the most important objectives and shown that the stochastic properties of some the them should be differed from deterministic ones in the multi-objective optimization procedure of NAS. We finalize this paper with a number of future directions and topics in the field of MONAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google