NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming

要約

進化的アルゴリズムは、人工知能内のディープ ニューラル ネットワーク (DNN) を自動最適化するための実行可能な計算アプローチとしてますます認識されています。
この方法は、神経進化として知られるアプローチである DNN のトレーニングにまで拡張されます。
ただし、神経進化は本質的にリソースを大量に消費するプロセスであり、特定の研究では、単一の DNN ネットワークの改良とトレーニングに数千日の GPU を費やしたことが報告されています。
優れた DNN 精度を達成しながら、神経進化に関連する計算上の課題に対処するため、サロゲート モデルが実用的なソリューションとして登場します。
サロゲート モデルの可能性にもかかわらず、神経進化へのサロゲート モデルの統合はまだ初期段階にあり、高次元データの効果的な使用や神経進化で使用される表現などの要因によって妨げられています。
これに関連して、私たちは、NeuroLGP と呼ばれる線形遺伝計画法に基づく適切な表現を採用し、クリギング部分最小二乗法を活用することで、これらの課題に対処します。
これら 2 つの手法を組み合わせた結果、NeuroLGP-Surrogate Model (NeuroLGP-SM) として知られる私たちが提案した方法論が完成しました。
比較の目的で、神経進化において一般的な手法である修復メカニズムを組み込んだベースライン アプローチもコーディングして使用します。
特に、ベースライン アプローチの精度は、有名な VGG-16 モデルを上回っています。
DNN 操作に固有の計算強度を考慮すると、通常は 1 回の実行が標準です。
私たちが提案したアプローチの有効性を評価するために、96 回の独立した実行を実施しました。
重要なのは、SM モデルが優れた精度または NeuroLGP アプローチと同等の結果を示しており、私たちの方法論は常にベースラインを上回っています。
注目に値するのは、SM アプローチにより計算要件が 25% 削減され、神経進化の効率がさらに強調されるという追加の利点です。

要約(オリジナル)

Evolutionary algorithms are increasingly recognised as a viable computational approach for the automated optimisation of deep neural networks (DNNs) within artificial intelligence. This method extends to the training of DNNs, an approach known as neuroevolution. However, neuroevolution is an inherently resource-intensive process, with certain studies reporting the consumption of thousands of GPU days for refining and training a single DNN network. To address the computational challenges associated with neuroevolution while still attaining good DNN accuracy, surrogate models emerge as a pragmatic solution. Despite their potential, the integration of surrogate models into neuroevolution is still in its early stages, hindered by factors such as the effective use of high-dimensional data and the representation employed in neuroevolution. In this context, we address these challenges by employing a suitable representation based on Linear Genetic Programming, denoted as NeuroLGP, and leveraging Kriging Partial Least Squares. The amalgamation of these two techniques culminates in our proposed methodology known as the NeuroLGP-Surrogate Model (NeuroLGP-SM). For comparison purposes, we also code and use a baseline approach incorporating a repair mechanism, a common practice in neuroevolution. Notably, the baseline approach surpasses the renowned VGG-16 model in accuracy. Given the computational intensity inherent in DNN operations, a singular run is typically the norm. To evaluate the efficacy of our proposed approach, we conducted 96 independent runs. Significantly, our methodologies consistently outperform the baseline, with the SM model demonstrating superior accuracy or comparable results to the NeuroLGP approach. Noteworthy is the additional advantage that the SM approach exhibits a 25% reduction in computational requirements, further emphasising its efficiency for neuroevolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google