要約
ニューラル ネットワークは、多くのタスクに対する最先端のアプローチであり、アクティベーション関数は、そのようなパフォーマンスを可能にする主要な構成要素の 1 つです。
最近、任意の垂直方向および水平方向の移動およびスケーリングを可能にする新しい変換適応活性化関数 (TAAF) が提案されました。
この作業により、TAAF が他のアクティベーション関数のコンテキストに設定されます。
これは、TAAF が 50 を超える既存の活性化関数を一般化し、70 を超える他の活性化関数と同様の概念を利用していることを示しており、TAAF の多用途性を強調しています。
この包括的な調査により、TAAF はニューラル ネットワークへの有望で適応性のある追加機能として位置づけられます。
要約(オリジナル)
Neural networks are the state-of-the-art approach for many tasks and the activation function is one of the main building blocks that allow such performance. Recently, a novel transformative adaptive activation function (TAAF) allowing for any vertical and horizontal translation and scaling was proposed. This work sets the TAAF into the context of other activation functions. It shows that the TAAFs generalize over 50 existing activation functions and utilize similar concepts as over 70 other activation functions, underscoring the versatility of TAAFs. This comprehensive exploration positions TAAFs as a promising and adaptable addition to neural networks.
arxiv情報
| 著者 | Vladimír Kunc |
| 発行日 | 2024-02-14 15:37:58+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google