Investigating how ReLU-networks encode symmetries

要約

多くのデータ対称性はグループ等分散の観点から説明でき、ニューラル ネットワークでグループ等分散をエンコードする最も一般的な方法は、グループ等分散の線形層を構築することです。
この研究では、ネットワークの等変性がすべての層が等変性であることを意味するかどうかを調査します。
理論的側面では、等分散が層ごとの等分散を意味するケースが見つかりますが、一般的にはそうではないことも示しています。
それにもかかわらず、等変になるように訓練された CNN は層ごとの等変性を示すだろうと我々は推測し、この推測が Entezari らによる最近の順列予想の弱いバージョンであることを説明します。
[2022年]。
CIFAR10 上の VGG ネットを使用した定量的実験と、ImageNet 上の ResNets を使用した定性的実験を実行して、理論的発見を説明およびサポートします。
これらの実験は、グループの等分散が ReLU ネットワークでどのようにエンコードされるかを理解する上で興味深いだけでなく、通常、ネットワークをグループとマージする方が簡単であることがわかり、Entezari らの順列予想に新たな視点を与えることにもなります。
– 2 つの異なるネットワークを結合するのではなく、それ自体を変換したバージョン。

要約(オリジナル)

Many data symmetries can be described in terms of group equivariance and the most common way of encoding group equivariances in neural networks is by building linear layers that are group equivariant. In this work we investigate whether equivariance of a network implies that all layers are equivariant. On the theoretical side we find cases where equivariance implies layerwise equivariance, but also demonstrate that this is not the case generally. Nevertheless, we conjecture that CNNs that are trained to be equivariant will exhibit layerwise equivariance and explain how this conjecture is a weaker version of the recent permutation conjecture by Entezari et al. [2022]. We perform quantitative experiments with VGG-nets on CIFAR10 and qualitative experiments with ResNets on ImageNet to illustrate and support our theoretical findings. These experiments are not only of interest for understanding how group equivariance is encoded in ReLU-networks, but they also give a new perspective on Entezari et al.’s permutation conjecture as we find that it is typically easier to merge a network with a group-transformed version of itself than merging two different networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google