TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks

要約

活性化関数はニューラル ネットワークの重要なコンポーネントです。
このペーパーでは、TSSR (Truncated and Signed Square Root) 関数と呼ばれる新しいアクティベーション関数を紹介します。
この関数は、奇数、非線形、単調、微分可能であるという点で特徴的です。
その勾配は連続的で常に正です。
これらの特性のおかげで、ニューラル ネットワークの数値安定性を向上させる可能性があります。
いくつかの実験により、提案された TSSR が他の最先端のアクティベーション関数よりも優れたパフォーマンスを備えていることが確認されています。
提案された関数は、ニューラル ネットワーク モデルの開発に重要な意味を持ち、コンピューター ビジョン、自然言語処理、音声認識などの分野の幅広いアプリケーションに適用できます。

要約(オリジナル)

Activation functions are essential components of neural networks. In this paper, we introduce a new activation function called the Truncated and Signed Square Root (TSSR) function. This function is distinctive because it is odd, nonlinear, monotone and differentiable. Its gradient is continuous and always positive. Thanks to these properties, it has the potential to improve the numerical stability of neural networks. Several experiments confirm that the proposed TSSR has better performance than other stat-of-the-art activation functions. The proposed function has significant implications for the development of neural network models and can be applied to a wide range of applications in fields such as computer vision, natural language processing, and speech recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google