Unification of popular artificial neural network activation functions

要約

最も一般的なニューラル ネットワーク活性化関数の統一表現を提示します。
分数微積分の Mittag-Leffler 関数を採用して、さまざまな活性化関数の間を補間し、勾配の消失や爆発など、ニューラル ネットワークのトレーニングにおける一般的な問題を軽減できる、柔軟でコンパクトな関数形式を提案します。
提示されたゲート表現は、固定形状の活性化関数の範囲を、トレーニング データから形状を学習できる対応する適応関数に拡張します。
提案された関数形式の導関数は、Mittag-Leffler 関数の観点から表現することもできるため、勾配ベースの逆伝播アルゴリズムの適切な候補になります。
サイズの異なるさまざまなデータセットで複雑さの異なる複数のニューラル ネットワークをトレーニングすることにより、活性化関数の統合されたゲート表現を採用することで、従来の機械学習フレームワークにおける活性化関数の個別の組み込み実装に代わる有望かつ手頃な代替手段が提供されることを実証します。

要約(オリジナル)

We present a unified representation of the most popular neural network activation functions. Adopting Mittag-Leffler functions of fractional calculus, we propose a flexible and compact functional form that is able to interpolate between various activation functions and mitigate common problems in training neural networks such as vanishing and exploding gradients. The presented gated representation extends the scope of fixed-shape activation functions to their adaptive counterparts whose shape can be learnt from the training data. The derivatives of the proposed functional form can also be expressed in terms of Mittag-Leffler functions making it a suitable candidate for gradient-based backpropagation algorithms. By training multiple neural networks of different complexities on various datasets with different sizes, we demonstrate that adopting a unified gated representation of activation functions offers a promising and affordable alternative to individual built-in implementations of activation functions in conventional machine learning frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google