Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups

要約

線形完全接続ニューラル ネットワークによってパラメータ化された関数のセットは、決定的な多様性です。
置換群の作用下で等変または不変となる関数の亜種を調査します。
このようなグループ アクションの例としては、画像の移動や $90^\circ$ 回転などがあります。
このような等変または不変部分変種を決定多様体の直接積として記述し、そこからそれらの次元、次数、ユークリッド距離次数、および特異点を推定します。
任意の置換グループの不変性と巡回グループの等変性を完全に特徴付けます。
我々は、スパース性と重み共有特性の観点から、等変および不変線形ネットワークのパラメータ化と設計に関する結論を導き出します。
我々は、すべての不変線形関数が、考慮された順列のサイクル分解によって課される重み共有特性を備えた単一の線形オートエンコーダによってパラメータ化できることを証明します。
ランク有界同変関数の空間にはいくつかの既約成分があるため、単一のネットワークでパラメーター化することはできませんが、各既約成分はパラメーター化できます。
最後に、不変ネットワークまたは等変ネットワークでの二乗誤差損失を最小限に抑えることは、エッカートのヤング定理を介して決定多様体からのユークリッド距離を最小限に抑えることに帰着することを示します。

要約(オリジナル)

The set of functions parameterized by a linear fully-connected neural network is a determinantal variety. We investigate the subvariety of functions that are equivariant or invariant under the action of a permutation group. Examples of such group actions are translations or $90^\circ$ rotations on images. We describe such equivariant or invariant subvarieties as direct products of determinantal varieties, from which we deduce their dimension, degree, Euclidean distance degree, and their singularities. We fully characterize invariance for arbitrary permutation groups, and equivariance for cyclic groups. We draw conclusions for the parameterization and the design of equivariant and invariant linear networks in terms of sparsity and weight-sharing properties. We prove that all invariant linear functions can be parameterized by a single linear autoencoder with a weight-sharing property imposed by the cycle decomposition of the considered permutation. The space of rank-bounded equivariant functions has several irreducible components, so it can {\em not} be parameterized by a single network — but each irreducible component can. Finally, we show that minimizing the squared-error loss on our invariant or equivariant networks reduces to minimizing the Euclidean distance from determinantal varieties via the Eckart–Young theorem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google