Adaptive Parametric Activation

要約

活性化関数はモデルの最適化において重要な役割を果たしますが、最適な選択は依然として不明です。
たとえば、シグモイド アクティベーションは、バランスのとれた分類タスクでは事実上のアクティベーションですが、不均衡な分類では、頻繁に使用されるクラスに偏るため、不適切であることがわかります。
この研究では、平衡ネットワークと不均衡ネットワークの両方の分類層と中間層で包括的な統計分析を実行することで、この現象をさらに深く掘り下げ、活性化関数をデータ分布に合わせることで、平衡ネットワークと不均衡ネットワークの両方のパフォーマンスが向上することを経験的に示しています。
タスク。
この目的を達成するために、最も一般的な活性化関数を 1 つの公式の下に統合する、新規で汎用性の高い活性化関数であるアダプティブ パラメトリック アクティベーション (APA) 関数を提案します。
APA は中間層とアテンション層の両方に適用でき、ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT、LVIS などのいくつかの不均衡ベンチマークや、ImageNet1K などのバランスベンチマークで最先端のパフォーマンスを大幅に上回ります。
ココとV3DET。
コードは https://github.com/kostas1515/AGLU で入手できます。

要約(オリジナル)

The activation function plays a crucial role in model optimisation, yet the optimal choice remains unclear. For example, the Sigmoid activation is the de-facto activation in balanced classification tasks, however, in imbalanced classification, it proves inappropriate due to bias towards frequent classes. In this work, we delve deeper in this phenomenon by performing a comprehensive statistical analysis in the classification and intermediate layers of both balanced and imbalanced networks and we empirically show that aligning the activation function with the data distribution, enhances the performance in both balanced and imbalanced tasks. To this end, we propose the Adaptive Parametric Activation (APA) function, a novel and versatile activation function that unifies most common activation functions under a single formula. APA can be applied in both intermediate layers and attention layers, significantly outperforming the state-of-the-art on several imbalanced benchmarks such as ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT and LVIS and balanced benchmarks such as ImageNet1K, COCO and V3DET. The code is available at https://github.com/kostas1515/AGLU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google