Moderate Adaptive Linear Units (MoLU)

要約

ディープ ニューラル ネットワーク用の新しい高性能アクティベーション関数、Moderate Adaptive Linear Units (MoLU) を提案します。
MoLU はシンプルで美しく強力なアクティベーション関数であり、何百ものアクティベーション関数の中で優れたメインのアクティベーション関数になります。
MoLU は基本関数で構成されているため、無限微分同相写像 (つまり、ドメイン全体で滑らかで無限に微分可能) であるだけでなく、トレーニング時間も短縮されます。

要約(オリジナル)

We propose a new high-performance activation function, Moderate Adaptive Linear Units (MoLU), for the deep neural network. The MoLU is a simple, beautiful and powerful activation function that can be a good main activation function among hundreds of activation functions. Because the MoLU is made up of the elementary functions, not only it is a infinite diffeomorphism (i.e. smooth and infinitely differentiable over whole domains), but also it decreases training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google