Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search

要約

母集団ベースの検索は、ブラック ボックス ニューラル アーキテクチャ検索 (NAS) の強化学習 (RL) に代わる可能性のあるものとして最近登場しました。
理論的にはよく理解されていなくても、実際にはうまく機能します。
特に、進化的アルゴリズム (EA) などの従来の集団ベースの検索方法は、クロスオーバー操作から多くの力を引き出しますが、NAS でそれらを活用することは困難です。
主な障害は順列の問題であると考えられています: 従来のグラフ表現における遺伝子型と表現型の間のマッピングは多対 1 であり、標準的なクロスオーバーの破壊的な影響につながります。
この論文では、ブラックボックス NAS における突然変異、クロスオーバー、および RL の動作の最初の理論的分析を提示し、グラフ空間での最短編集パス (SEP) に基づく新しいクロスオーバー演算子を提案します。
SEP クロスオーバーは、順列の問題を克服することが理論的に示されており、その結果、突然変異、標準的なクロスオーバー、および RL と比較して、より優れた改善が期待されます。
さらに、最先端の NAS ベンチマークでは、経験的にこれらの他の方法よりも優れています。
したがって、SEP クロスオーバーにより、NAS で人口ベースの検索を最大限に活用することができ、基礎となる理論は、一般にブラックボックス NAS 方法をより深く理解するための基礎として役立ちます。

要約(オリジナル)

Population-based search has recently emerged as a possible alternative to Reinforcement Learning (RL) for black-box neural architecture search (NAS). It performs well in practice even though it is not theoretically well understood. In particular, whereas traditional population-based search methods such as evolutionary algorithms (EAs) draw much power from crossover operations, it is difficult to take advantage of them in NAS. The main obstacle is believed to be the permutation problem: The mapping between genotype and phenotype in traditional graph representations is many-to-one, leading to a disruptive effect of standard crossover. This paper presents the first theoretical analysis of the behaviors of mutation, crossover and RL in black-box NAS, and proposes a new crossover operator based on the shortest edit path (SEP) in graph space. The SEP crossover is shown theoretically to overcome the permutation problem, and as a result, have a better expected improvement compared to mutation, standard crossover and RL. Further, it empirically outperform these other methods on state-of-the-art NAS benchmarks. The SEP crossover therefore allows taking full advantage of population-based search in NAS, and the underlying theory can serve as a foundation for deeper understanding of black-box NAS methods in general.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google