VeLU: Variance-enhanced Learning Unit for Deep Neural Networks

要約

活性化機能は、深いニューラルネットワークの基本であり、勾配の流れ、最適化の安定性、および一般化に直接影響を与えます。
Reluはその単純さのために標準のままですが、勾配の消失に苦しみ、適応性が欠けています。
SwishやGeluなどの代替案はスムーズな遷移を導入しますが、入力統計に動的に調整することはできません。
Arctan-Sin変換とWasserstein-2の正則化を統合し、共変量のシフトを効果的に緩和し、最適化を安定化することにより、入力分散に基づいて動的にスケーリングする活性化関数として、分散強化学習ユニットであるVeluを提案します。
VIT_B16、VGG19、RESNET50、DENSENET121、MOBILENETV2、およびEFFICIENTNETB3での広範な実験により、6つの視覚ベンチマークでのRelu、Relu6、Swish、およびGeluに対するVeluの優位性が確認されます。
VeluのコードはGithubで公開されています。

要約(オリジナル)

Activation functions are fundamental in deep neural networks and directly impact gradient flow, optimization stability, and generalization. Although ReLU remains standard because of its simplicity, it suffers from vanishing gradients and lacks adaptability. Alternatives like Swish and GELU introduce smooth transitions, but fail to dynamically adjust to input statistics. We propose VeLU, a Variance-enhanced Learning Unit as an activation function that dynamically scales based on input variance by integrating ArcTan-Sin transformations and Wasserstein-2 regularization, effectively mitigating covariate shifts and stabilizing optimization. Extensive experiments on ViT_B16, VGG19, ResNet50, DenseNet121, MobileNetV2, and EfficientNetB3 confirm VeLU’s superiority over ReLU, ReLU6, Swish, and GELU on six vision benchmarks. The codes of VeLU are publicly available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google