Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution

要約

活性化関数は、ニューラルネットワークのパフォーマンスと挙動に重要な役割を果たし、学習と一般化の能力に大きな影響を与えます。
Relu、Sigmoid、Tanhなどの従来の活性化機能は、かなりの成功を収めて広く使用されています。
ただし、これらの機能は、すべてのタスクとデータセットに常に最適なパフォーマンスを提供するとは限りません。
この論文では、Neuvo Geafを紹介します。これは、文法進化（GE）を活用して、特定のニューラルネットワークアーキテクチャとデータセットに合わせた新しい活性化関数を自動的に進化させる革新的なアプローチです。
よく知られているバイナリ分類データセットで実施された実験では、同一のネットワークアーキテクチャを使用したReluよりもF1スコア（2.4％から9.4％）の統計的に有意な改善が示されています。
特に、これらのパフォーマンスの向上は、ネットワークのパラメーターカウントを増やすことなく達成され、リソース制約のエッジデバイスで効果的に動作できる、より効率的なニューラルネットワークへの傾向をサポートしています。
このホワイトペーパーの調査結果は、進化した活性化機能が、トレーニング段階と推論段階の両方でエネルギー効率を維持しながら、コンパクトネットワークに大幅なパフォーマンスの改善を提供できることを示唆しています。

要約(オリジナル)

Activation functions play a critical role in the performance and behaviour of neural networks, significantly impacting their ability to learn and generalise. Traditional activation functions, such as ReLU, sigmoid, and tanh, have been widely used with considerable success. However, these functions may not always provide optimal performance for all tasks and datasets. In this paper, we introduce Neuvo GEAF – an innovative approach leveraging grammatical evolution (GE) to automatically evolve novel activation functions tailored to specific neural network architectures and datasets. Experiments conducted on well-known binary classification datasets show statistically significant improvements in F1-score (between 2.4% and 9.4%) over ReLU using identical network architectures. Notably, these performance gains were achieved without increasing the network’s parameter count, supporting the trend toward more efficient neural networks that can operate effectively on resource-constrained edge devices. This paper’s findings suggest that evolved activation functions can provide significant performance improvements for compact networks while maintaining energy efficiency during both training and inference phases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google