Nish: A Novel Negative Stimulated Hybrid Activation Function

要約

活性化関数は、ニューラル ネットワークのパフォーマンスと安定性において重要な役割を果たします。
この研究では、Negative Stimulated Hybrid Activation Function (Nish) と呼ばれる新しい非単調活性化関数を提案します。
これは、値がゼロより大きい場合は Rectified Linear Unit (ReLU) 関数のように動作し、値がゼロより小さい場合は正弦シグモイド関数のように動作します。
提案された関数にはシグモイド波と正弦波が組み込まれており、従来の ReLU アクティベーションを超える新しいダイナミクスが可能になります。
確立されたアーキテクチャのさまざまな組み合わせと、さまざまなよく知られているベンチマークを使用して、最近提案されたアクティベーション関数に対する Nish の堅牢性を評価します。
結果は、提案された活性化関数によって得られた正解率が、Mish 活性化によって計算された一連の重みを使用して得られた精度よりもわずかに高いことを示しています。

要約(オリジナル)

Activation functions play a crucial role in the performance and stability of neural networks. In this study, we propose a novel non-monotonic activation function is called Negative Stimulated Hybrid Activation Function (Nish). It behaves like a Rectified Linear Unit (ReLU) function for values greater than zero, and a sinus-sigmoidal function for values less than zero. The proposed function incorporates the sigmoid and sine wave, allowing new dynamics over traditional ReLU activations. We evaluate robustness of the Nish for different combinations of well-established architectures as well as recently proposed activation functions using on various well-known benchmarks. The results indicate that the accuracy rates obtained by the proposed activation function are slightly higher than those obtained using the set of weights calculated by Mish activation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google