U(1) Symmetry-breaking Observed in Generic CNN Bottleneck Layers

要約

深層畳み込みニューラルネットワーク（CNN）と生物学的視覚および基礎素粒子物理学を結びつける重要な発見を報告する。CNNにおける情報伝播のモデルを、光学系とのアナロジーによって提案する。ここでは、画像の2次元空間分解能が焦点$1times 1=1$に収縮すると、ボソン粒子（すなわち光子）が濃縮される。3次元空間 $(x,y,t)$ は、画像平面上の座標 $(x,y)$ と CNN層 $t$ によって定義され、主光線 $(0,0,t)$ が光軸と $(x,y)=(0,0)$ にある画像中心画素の両方を通る情報伝播方向に走り、これに関して最も鋭い空間焦点が画像平面上の錯乱円まで制限される。我々の新しい洞察は、主光線$(0,0,t)$を、例えば$RGB$色空間のグレイスケール（または輝度）ベクトル$(t,t,t)$に沿った、$N$チャンネルの活性化空間の正直交列の内側ベクトル$I(x,y) \in R^{N+}$と幾何的に同等であるとモデル化していることである。これは、特に一般的なCNNのボトルネック層$t$では、空間原点$(0,0,t)$について高度に集中的かつ対称的で、ボゾン粒子のよく知られた「ソンブレロ」ポテンシャルを示す。この対称性は分類において破れ、一般的な事前学習済みCNNモデルのボトルネック層は、画像平面と活性化特徴空間で同時に定義される角度$theta \in U(1)$に対して一貫したクラス特有のバイアスを示す。初期観察では、訓練やチューニングを行わず、一般的な事前訓練済みCNN活性化マップと素朴なメモリベースの分類スキームから、我々の仮説が検証された。また、ランダムな$U(1)$クラスラベルを用いたゼロからの学習により、全てのケースで分類が改善された。

要約(オリジナル)

We report on a significant discovery linking deep convolutional neural networks (CNN) to biological vision and fundamental particle physics. A model of information propagation in a CNN is proposed via an analogy to an optical system, where bosonic particles (i.e. photons) are concentrated as the 2D spatial resolution of the image collapses to a focal point $1\times 1=1$. A 3D space $(x,y,t)$ is defined by $(x,y)$ coordinates in the image plane and CNN layer $t$, where a principal ray $(0,0,t)$ runs in the direction of information propagation through both the optical axis and the image center pixel located at $(x,y)=(0,0)$, about which the sharpest possible spatial focus is limited to a circle of confusion in the image plane. Our novel insight is to model the principal optical ray $(0,0,t)$ as geometrically equivalent to the medial vector in the positive orthant $I(x,y) \in R^{N+}$ of a $N$-channel activation space, e.g. along the greyscale (or luminance) vector $(t,t,t)$ in $RGB$ colour space. Information is thus concentrated into an energy potential $E(x,y,t)=\|I(x,y,t)\|^2$, which, particularly for bottleneck layers $t$ of generic CNNs, is highly concentrated and symmetric about the spatial origin $(0,0,t)$ and exhibits the well-known ‘Sombrero’ potential of the boson particle. This symmetry is broken in classification, where bottleneck layers of generic pre-trained CNN models exhibit a consistent class-specific bias towards an angle $\theta \in U(1)$ defined simultaneously in the image plane and in activation feature space. Initial observations validate our hypothesis from generic pre-trained CNN activation maps and a bare-bones memory-based classification scheme, with no training or tuning. Training from scratch using a random $U(1)$ class label the leads to improved classification in all cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL