Neural Characteristic Activation Value Analysis for Improved ReLU Network Feature Learning

要約

ニューラル ネットワーク内の個々の ReLU ユニットの特性活性化値を調べます。
入力空間におけるそのような特性活性化値に対応するセットを、ReLU ユニットの特性活性化セットと呼びます。
ReLU ネットワークにおける特性活性化セットと学習された特徴の間の明示的な関係を描きます。
この関連性は、最新の深層学習アーキテクチャで使用されるさまざまなニューラル ネットワーク正規化手法が SGD 最適化を正規化して安定化させる理由についての新たな洞察につながります。
これらの洞察を利用して、特徴学習を改善するために ReLU ネットワークをパラメータ化する幾何学的アプローチを提案します。
私たちは、あまり慎重に選択されていない初期化スキームと大きな学習率を使用して、その有用性を経験的に検証しています。
最適化の安定性の向上、収束速度の向上、汎化パフォーマンスの向上が報告されています。

要約(オリジナル)

We examine the characteristic activation values of individual ReLU units in neural networks. We refer to the corresponding set for such characteristic activation values in the input space as the characteristic activation set of a ReLU unit. We draw an explicit connection between the characteristic activation set and learned features in ReLU networks. This connection leads to new insights into why various neural network normalization techniques used in modern deep learning architectures regularize and stabilize SGD optimization. Utilizing these insights, we propose a geometric approach to parameterize ReLU networks for improved feature learning. We empirically verify its usefulness with less carefully chosen initialization schemes and larger learning rates. We report improved optimization stability, faster convergence speed, and better generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google