Understanding Deep Neural Networks via Linear Separability of Hidden Layers

要約

この論文では、ディープ ニューラル ネットワークの特性を研究するために、隠れ層出力の線形分離性を測定します。
特に、我々は最初に、2 点セットの線形分離度を評価するためのミンコフスキー差分ベースの線形分離度測定 (MD-LSM) を提案します。
次に、隠れ層出力の線形分離性度とネットワークのトレーニング パフォーマンスの間に同期性があることを示します。つまり、更新された重みが隠れ層出力の線形分離性度を向上させることができれば、更新されたネットワークはより良いトレーニング パフォーマンスを達成します。
、 およびその逆。
さらに、活性化関数とネットワーク サイズ (幅と深さを含む) が隠れ層の線形分離性に及ぼす影響を研究します。
最後に、多層パーセプトロン (MLP)、畳み込みニューラル ネットワーク (CNN)、ディープ ビリーフ ネットワーク (DBN)、ResNet、VGGNet、AlexNet、ビジョン トランスフォーマー (ViT)、GoogLeNet などの一般的な深層ネットワークでの結果を検証するために数値実験を実行します。
。

要約(オリジナル)

In this paper, we measure the linear separability of hidden layer outputs to study the characteristics of deep neural networks. In particular, we first propose Minkowski difference based linear separability measures (MD-LSMs) to evaluate the linear separability degree of two points sets. Then, we demonstrate that there is a synchronicity between the linear separability degree of hidden layer outputs and the network training performance, i.e., if the updated weights can enhance the linear separability degree of hidden layer outputs, the updated network will achieve a better training performance, and vice versa. Moreover, we study the effect of activation function and network size (including width and depth) on the linear separability of hidden layers. Finally, we conduct the numerical experiments to validate our findings on some popular deep networks including multilayer perceptron (MLP), convolutional neural network (CNN), deep belief network (DBN), ResNet, VGGNet, AlexNet, vision transformer (ViT) and GoogLeNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google