PEA: Improving the Performance of ReLU Networks for Free by Using Progressive Ensemble Activations

要約

近年、ニューラルネットワークの性能を向上させるために新しい活性化関数が提案されており、それらはReLUの対応物と比較して優れた性能を示しています。
ただし、複雑なアクティベーションの可用性が制限されている環境があり、通常はReLUのみがサポートされます。
この論文では、モデルトレーニング中にこれらの効率的な新規アクティベーションを使用することにより、ReLUネットワークのパフォーマンスを改善するために使用できる方法を提案します。
より具体的には、ReLUとこれらの新しいアクティベーションの1つで構成されるアンサンブルアクティベーションを提案します。
さらに、アンサンブルの係数は固定も学習もされませんが、トレーニングの終了までにReLUアクティベーションのみがネットワークでアクティブのままになり、他のアクティベーションを削除できるように、トレーニングプロセス中に段階的に更新されます。
これは、推論時にネットワークにReLUアクティベーションのみが含まれることを意味します。
さまざまなコンパクトなネットワークアーキテクチャとさまざまな新しい活性化関数を使用して、ImageNet分類タスクの広範な評価を実行します。
結果は、0.2〜0.8％のトップ1精度の向上を示しており、提案された方法の適用可能性を確認しています。
さらに、セマンティックセグメンテーションで提案された方法を示し、Cityscapesデータセットでコンパクトセグメンテーションネットワークのパフォーマンスを0.34％mIOU向上させます。

要約(オリジナル)

In recent years novel activation functions have been proposed to improve the performance of neural networks, and they show superior performance compared to the ReLU counterpart. However, there are environments, where the availability of complex activations is limited, and usually only the ReLU is supported. In this paper we propose methods that can be used to improve the performance of ReLU networks by using these efficient novel activations during model training. More specifically, we propose ensemble activations that are composed of the ReLU and one of these novel activations. Furthermore, the coefficients of the ensemble are neither fixed nor learned, but are progressively updated during the training process in a way that by the end of the training only the ReLU activations remain active in the network and the other activations can be removed. This means that in inference time the network contains ReLU activations only. We perform extensive evaluations on the ImageNet classification task using various compact network architectures and various novel activation functions. Results show 0.2-0.8% top-1 accuracy gain, which confirms the applicability of the proposed methods. Furthermore, we demonstrate the proposed methods on semantic segmentation and we boost the performance of a compact segmentation network by 0.34% mIOU on the Cityscapes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google