On Privileged and Convergent Bases in Neural Network Representations

要約

この研究では、ニューラル ネットワークによって学習された表現が特権的かつ収束的な基盤を持っているかどうかを調査します。
具体的には、個々のニューロンが表す特徴方向の重要性を調べます。
まず、ニューラル表現の任意の回転は (線形ネットワークとは異なり) 反転できないことを確立し、完全な回転不変性を示さないことを示します。
次に、複数のベースが同一のパフォーマンスを達成できる可能性を検討します。
これを行うために、同じパラメータで訓練されたネットワークのベースを、ランダムな初期化を変えて比較します。
私たちの研究では、次の 2 つの発見が明らかになりました。(1) WideResNets のような広域ネットワークでも、ニューラル ネットワークは一意の基底に収束しません。
(2) ネットワークのいくつかの初期層が同様にフリーズされると、基底相関が大幅に増加します。
さらに、基底相関の尺度として研究されている線形モード接続性を分析します。
私たちの調査結果は、線形モードの接続性はネットワーク幅の増加とともに向上しますが、この向上は基底相関の増加によるものではないという証拠を示しています。

要約(オリジナル)

In this study, we investigate whether the representations learned by neural networks possess a privileged and convergent basis. Specifically, we examine the significance of feature directions represented by individual neurons. First, we establish that arbitrary rotations of neural representations cannot be inverted (unlike linear networks), indicating that they do not exhibit complete rotational invariance. Subsequently, we explore the possibility of multiple bases achieving identical performance. To do this, we compare the bases of networks trained with the same parameters but with varying random initializations. Our study reveals two findings: (1) Even in wide networks such as WideResNets, neural networks do not converge to a unique basis; (2) Basis correlation increases significantly when a few early layers of the network are frozen identically. Furthermore, we analyze Linear Mode Connectivity, which has been studied as a measure of basis correlation. Our findings give evidence that while Linear Mode Connectivity improves with increased network width, this improvement is not due to an increase in basis correlation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google