Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions

要約

深層学習トレーニング トレーニング アルゴリズムは、音声、テキスト、画像ビデオなどを含む多くの分野で近年大きな成功を収めています。ますます深い層が提案され、約 152 層の resnet 構造で大きな成功を収めています。
浅い畳み込みニューラル ネットワーク (CNN) は現在も活発に研究されており、いくつかの現象はまだ説明されていません。
ネットワークで使用されるアクティベーション関数は、ネットワークに非線形性をもたらすため、最も重要です。
Relu は最も一般的に使用される活性化関数です。隠れ層での複雑な区分的線形 (PWL) 活性化を示します。
畳み込みニューラル ネットワークと多層パーセプトロンのネットワークでは、これらの PWL アクティベーションが relu アクティベーションよりもはるかにうまく機能することを示します。
私たちのケースをさらに強化するために、浅い CNN と深い CNN の PyTorch での結果の比較が示されています。

要約(オリジナル)

Deep learning training training algorithms are a huge success in recent years in many fields including speech, text,image video etc. Deeper and deeper layers are proposed with huge success with resnet structures having around 152 layers. Shallow convolution neural networks(CNN’s) are still an active research, where some phenomena are still unexplained. Activation functions used in the network are of utmost importance, as they provide non linearity to the networks. Relu’s are the most commonly used activation function.We show a complex piece-wise linear(PWL) activation in the hidden layer. We show that these PWL activations work much better than relu activations in our networks for convolution neural networks and multilayer perceptrons. Result comparison in PyTorch for shallow and deep CNNs are given to further strengthen our case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google