Asynchronous Evolution of Deep Neural Network Architectures

要約

多くの進化的アルゴリズム (EA) は、候補の並列評価を利用しています。
ただし、評価時間が大幅に異なる場合、多くのワーカー ノード (つまり、コンピューティング クライアント) は、多くの時間アイドル状態になり、次の世代が作成されるのを待機します。
ディープ ニューラル ネットワークのアーキテクチャとハイパーパラメータを最適化する EA のクラスである ENAS (Eevolutionary Neural Architecture Search) は、この問題に対して特に脆弱です。
このペーパーでは、ENAS で動作するように適応される汎用の非同期評価戦略 (AES) を提案します。
AES は、評価のためにワーカーに送信できるように最大 $K$ の個人のキューを維持し、$M<要約(オリジナル)

Many evolutionary algorithms (EAs) take advantage of parallel evaluation of candidates. However, if evaluation times vary significantly, many worker nodes (i.e.,\ compute clients) are idle much of the time, waiting for the next generation to be created. Evolutionary neural architecture search (ENAS), a class of EAs that optimizes the architecture and hyperparameters of deep neural networks, is particularly vulnerable to this issue. This paper proposes a generic asynchronous evaluation strategy (AES) that is then adapted to work with ENAS. AES increases throughput by maintaining a queue of up to $K$ individuals ready to be sent to the workers for evaluation and proceeding to the next generation as soon as $M<arxiv情報

提供元, 利用サービス

arxiv.jp, Google