Layer-level activation mechanism

要約

本研究では、層レベルの活性化関数（LayerAct）の確立を目指した新しい活性化メカニズムを提案する。この関数は、従来の要素レベルの活性化関数と比較して、入力のシフトによる活性化出力の層レベルの揺らぎを低減することで、よりノイズに強い活性化関数を実現するように設計されている。さらに、LayerAct関数は活性化出力空間を制限することなく、ゼロライクな平均活性化出力を実現する。我々は、LayerAct関数が要素レベルの活性化関数と比較して優れたノイズ耐性を示すことを示す解析と実験を行い、これらの関数がゼロライクな平均活性化出力を持つことを経験的に示す。3つのベンチマーク画像分類タスクに対する実験結果から、LayerAct関数はノイズの多い画像データセットの扱いに優れ、要素レベル活性化関数を凌駕することが示される。

要約(オリジナル)

In this work, we propose a novel activation mechanism aimed at establishing layer-level activation (LayerAct) functions. These functions are designed to be more noise-robust compared to traditional element-level activation functions by reducing the layer-level fluctuation of the activation outputs due to shift in inputs. Moreover, the LayerAct functions achieve a zero-like mean activation output without restricting the activation output space. We present an analysis and experiments demonstrating that LayerAct functions exhibit superior noise-robustness compared to element-level activation functions, and empirically show that these functions have a zero-like mean activation. Experimental results on three benchmark image classification tasks show that LayerAct functions excel in handling noisy image datasets, outperforming element-level activation functions, while the performance on clean datasets is also superior in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL