CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks

要約

活性化関数は、データ関係に非線形性を導入するため、ニューラル ネットワークの基本であり、それによってディープ ネットワークが複雑なデータ関係を近似できるようになります。
ニューラル ネットワークのパフォーマンスを向上させるためのこれまでの取り組みは、主に新しい数学関数の開発に焦点を当ててきました。
ただし、ニューラル ネットワーク内の既存の活性化関数を適切に設計して組み合わせることで、この目的も達成できることがわかりました。
このペーパーでは、さまざまな層にわたってさまざまな次元でさまざまな活性化関数を使用する Combined Units 活性化 (CombU) を紹介します。
このアプローチは、ほとんどの数式に正確に適合することが理論的に証明できます。
4 つの数式データセットに対して行われた実験では、6 つの最先端 (SOTA) 活性化関数アルゴリズムと比較して、ComU が 16 メトリクスのうち 10 ですべての SOTA アルゴリズムを上回り、残りの 6 メトリクスで上位 3 位にランクされることが実証されました。
。

要約(オリジナル)

The activation functions are fundamental to neural networks as they introduce non-linearity into data relationships, thereby enabling deep networks to approximate complex data relations. Existing efforts to enhance neural network performance have predominantly focused on developing new mathematical functions. However, we find that a well-designed combination of existing activation functions within a neural network can also achieve this objective. In this paper, we introduce the Combined Units activation (CombU), which employs different activation functions at various dimensions across different layers. This approach can be theoretically proven to fit most mathematical expressions accurately. The experiments conducted on four mathematical expression datasets, compared against six State-Of-The-Art (SOTA) activation function algorithms, demonstrate that CombU outperforms all SOTA algorithms in 10 out of 16 metrics and ranks in the top three for the remaining six metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google