Singular Value Representation: A New Graph Perspective On Neural Networks

要約

重みの SVD 因数分解を使用してニューラル ネットワークの内部状態を表す新しい方法である特異値表現 (SVR) を紹介します。
この構成により、従来のニューロンの特定の活性化パターンに対応する、スペクトル ニューロンと呼ばれるものを接続する新しい加重グラフが得られます。
完全に接続された畳み込み層のスペクトルニューロン間の意味のある接続を識別するための正確な統計フレームワークを導き出します。
機械学習研究に対する私たちのアプローチの有用性を実証するために、SVR を使用して行った 2 つの発見を強調します。
まず、複数の深い層にまたがる VGG ネットワークにおける支配的な接続の出現を強調します。
第二に、入力データに依存することなく、バッチ正規化が深いレイヤーのニアカーネル間に重要な接続を誘発し、顕著な自発的なスパース化現象につながることを目の当たりにしました。

要約(オリジナル)

We introduce the Singular Value Representation (SVR), a new method to represent the internal state of neural networks using SVD factorization of the weights. This construction yields a new weighted graph connecting what we call spectral neurons, that correspond to specific activation patterns of classical neurons. We derive a precise statistical framework to discriminate meaningful connections between spectral neurons for fully connected and convolutional layers. To demonstrate the usefulness of our approach for machine learning research, we highlight two discoveries we made using the SVR. First, we highlight the emergence of a dominant connection in VGG networks that spans multiple deep layers. Second, we witness, without relying on any input data, that batch normalization can induce significant connections between near-kernels of deep layers, leading to a remarkable spontaneous sparsification phenomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google