TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks

要約

分類における深層学習モデルの適用は、ターゲット オブジェクトの正確な検出において重要な役割を果たします。
ただし、精度は隠れ層と出力層の活性化関数の影響を受けます。
この論文では、Tanh と Rectified Linear Units (ReLU) を組み合わせた TaLU と呼ばれる活性化関数を使用して、予測を改善します。
ReLU 活性化関数は、計算効率、実装の容易さ、直感的な性質などにより、多くの深層学習研究者によって使用されています。しかし、瀕死の勾配問題に悩まされています。
たとえば、入力が負の場合、その勾配はゼロであるため、出力は常にゼロになります。
多くの研究者がこの問題を解決するためにさまざまなアプローチを使用しました。
最も注目すべきものには、LeakyReLU、Softplus、Softsign、ELU、ThresholdedReLU などがあります。この研究では、Tanh と ReLU を組み合わせた修正活性化関数である TaLU を開発しました。これは、ReLU の瀕死の勾配問題を軽減します。
提案された活性化関数を備えた深層学習モデルは MNIST と CIFAR-10 でテストされ、精度の点で ReLU やその他の研究された活性化関数よりも優れています (バッチ正規化と妥当な学習率で使用した場合、ほとんどの場合最大 6%)
）。

要約(オリジナル)

The application of the deep learning model in classification plays an important role in the accurate detection of the target objects. However, the accuracy is affected by the activation function in the hidden and output layer. In this paper, an activation function called TaLU, which is a combination of Tanh and Rectified Linear Units (ReLU), is used to improve the prediction. ReLU activation function is used by many deep learning researchers for its computational efficiency, ease of implementation, intuitive nature, etc. However, it suffers from a dying gradient problem. For instance, when the input is negative, its output is always zero because its gradient is zero. A number of researchers used different approaches to solve this issue. Some of the most notable are LeakyReLU, Softplus, Softsign, ELU, ThresholdedReLU, etc. This research developed TaLU, a modified activation function combining Tanh and ReLU, which mitigates the dying gradient problem of ReLU. The deep learning model with the proposed activation function was tested on MNIST and CIFAR-10, and it outperforms ReLU and some other studied activation functions in terms of accuracy(upto 6% in most cases, when used with Batch Normalization and a reasonable learning rate).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google