NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks

要約

進化的アルゴリズム (EA) は、神経進化として知られるプロセスである人工ディープ ニューラル ネットワーク (DNN) のアーキテクチャ構成とトレーニングにおいて重要な役割を果たします。
しかし、神経進化は、複数の世代、大規模な人口、多数のエポックを必要とする固有の計算コストによって妨げられています。
最も計算量が多いのは、単一の候補解の適合度関数を評価する場合です。
この課題に対処するために、私たちはサロゲート支援 EA (SAEA) を採用しています。
神経進化ではいくつかの SAEA アプローチが提案されていますが、扱いにくい情報利用などの問題のため、真に大規模な DNN には適用されていません。
この研究では、遺伝的プログラミングのセマンティクスからインスピレーションを得て、DNN から出力された表現型距離ベクトルを、これらの大きなベクトルを処理して検索に適したものにするのに効果的なアプローチであるクリギング部分最小二乗法 (KPLS) と並行して使用します。
神経線形遺伝プログラミング代理モデル (NeuroLGP-SM) と呼ばれる私たちが提案するアプローチは、完全な評価を必要とせずに DNN 適合性を効率的かつ正確に推定します。
NeuroLGP-SM は、SM を使用しない NeuroLGP、畳み込みニューラル ネットワーク、サポート ベクター マシン、およびオートエンコーダーを含む他の 12 の方法と比較して、競合または優れた結果を示します。
さらに、NeuroLGP-SM は、対応する NeuroLGP よりもエネルギー効率が 25% 高いことも注目に値します。
この効率上の利点により、大規模な DNN の構成を最適化する際に、私たちが提案する NeuroLGP-SM の全体的な魅力がさらに高まります。

要約(オリジナル)

Evolutionary Algorithms (EAs) play a crucial role in the architectural configuration and training of Artificial Deep Neural Networks (DNNs), a process known as neuroevolution. However, neuroevolution is hindered by its inherent computational expense, requiring multiple generations, a large population, and numerous epochs. The most computationally intensive aspect lies in evaluating the fitness function of a single candidate solution. To address this challenge, we employ Surrogate-assisted EAs (SAEAs). While a few SAEAs approaches have been proposed in neuroevolution, none have been applied to truly large DNNs due to issues like intractable information usage. In this work, drawing inspiration from Genetic Programming semantics, we use phenotypic distance vectors, outputted from DNNs, alongside Kriging Partial Least Squares (KPLS), an approach that is effective in handling these large vectors, making them suitable for search. Our proposed approach, named Neuro-Linear Genetic Programming surrogate model (NeuroLGP-SM), efficiently and accurately estimates DNN fitness without the need for complete evaluations. NeuroLGP-SM demonstrates competitive or superior results compared to 12 other methods, including NeuroLGP without SM, convolutional neural networks, support vector machines, and autoencoders. Additionally, it is worth noting that NeuroLGP-SM is 25% more energy-efficient than its NeuroLGP counterpart. This efficiency advantage adds to the overall appeal of our proposed NeuroLGP-SM in optimising the configuration of large DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google