Hyperplane Arrangements of Trained ConvNets Are Biased

要約

タイトル：訓練されたConvNetsの超平面配置には偏りがある

要約：

– 訓練されたConvNetsの畳み込み層の事前活性化空間における学習関数の幾何学的な特性を調査する。
– 畳み込み層で誘導される超平面配置の経験的研究を実施することで、学習済みネットワークの重みに対する統計を導入し、局所配置を研究し、トレーニングダイナミクスに関係させる。
– 訓練されたConvNetsは、正規の超平面配置に対して有意な統計的なバイアスを示すことが観察される。
– さらに、CIFAR10、CIFAR100、ImageNetでトレーニングされた構造に対して、バイアスのあるレイヤーがバリデーション性能に対して重要であることがわかった。

要約(オリジナル)

We investigate the geometric properties of the functions learned by trained ConvNets in the preactivation space of their convolutional layers, by performing an empirical study of hyperplane arrangements induced by a convolutional layer. We introduce statistics over the weights of a trained network to study local arrangements and relate them to the training dynamics. We observe that trained ConvNets show a significant statistical bias towards regular hyperplane configurations. Furthermore, we find that layers showing biased configurations are critical to validation performance for the architectures considered, trained on CIFAR10, CIFAR100 and ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI