Average Path Length: Sparsification of Nonlinearties Creates Surprisingly Shallow Networks

要約

ネットワーク内の非線形ユニットの総数に対するスパース プライアを介して、一部の機能チャネルで完全に線形になるように活性化関数をプッシュするときのディープ ネットワークの動作の実証的研究を行います。
結果の部分的に線形化されたネットワークの深さを測定するために、ネットワーク グラフのパスに沿って発生するアクティブな非線形性の平均数を計算します。
典型的な画像分類タスクでのスパース化された PReLU を使用した CNN の実験では、いくつかの観察結果が得られました。スパース性圧力の下では、残りの非線形ユニットが明確な構造に編成され、ほぼ一定の有効な深さと幅のコア ネットワークが形成されます。これはタスクの難易度に依存します。
.
精度の急速な崩壊が始まるまで、深度に応じたパフォーマンスのゆっくりとした減衰が一貫して観察されます。これにより、幅を同等の数のパラメーターに増やした後でも、同様の深度のベースライン ネットワークよりも優れた精度の適度な損失で驚くほど浅いネットワークが可能になります。
.
トレーニングに関しては、非線形の利点が観察されます。トレーニング後に非線形性を減らすと、線形化されたトレーニングでの以前の調査結果と一致して、以前よりもパフォーマンスが向上しますが、タスクの難易度に応じてギャップがあり、簡単な問題では消失します。

要約(オリジナル)

We perform an empirical study of the behaviour of deep networks when pushing its activation functions to become fully linear in some of its feature channels through a sparsity prior on the overall number of nonlinear units in the network. To measure the depth of the resulting partially linearized network, we compute the average number of active nonlinearities encountered along a path in the network graph. In experiments on CNNs with sparsified PReLUs on typical image classification tasks, we make several observations: Under sparsity pressure, the remaining nonlinear units organize into distinct structures, forming core-networks of near constant effective depth and width, which in turn depend on task difficulty. We consistently observe a slow decay of performance with depth until the onset of a rapid collapse in accuracy, allowing for surprisingly shallow networks at moderate losses in accuracy that outperform base-line networks of similar depth, even after increasing width to a comparable number of parameters. In terms of training, we observe a nonlinear advantage: Reducing nonlinearity after training leads to a better performance than before, in line with previous findings in linearized training, but with a gap depending on task difficulty that vanishes for easy problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google