Monomial Matrix Group Equivariant Neural Functional Networks

要約

ニューラル機能ネットワーク（NFN）は、ネットワークの一般化やネットワーク編集の予測から暗黙の神経表現の分類に至るまで、多様なアプリケーションのために最近大きな注目を集めています。
以前のNFN設計は、多くの場合、ニューラルネットワークの重みの順列対称に依存していますが、これは伝統的に隠された層のニューロンの順序付けられていない配置から生じています。
ただし、これらの設計では、$ \ relu $ネットワークの重量スケーリング対称性と、$ \ sin $または$ \ tanh $ネットワークの対称性を反転する重量記号を考慮していません。
このホワイトペーパーでは、スケーリング/サインフリッピング対称性を組み込むことにより、順列行列のグループからモノマリアルマトリックスのグループへのネットワーク重みに関するグループアクションの研究を拡張します。
特に、対応する等量層と不変層を設計することにより、これらのスケーリング/サインフリッピング対称性をエンコードします。
私たちは、NFNSの新しいファミリーと名付けられています。モノミアマトリックスグループ等式ニューラル機能ネットワーク（Monomial-NFN）を挙げています。
対称性の拡大により、Monomial-NFNは文献のベースラインNFNと比較して独立したトレーニング可能なパラメーターがはるかに少なく、モデルの効率が向上します。
さらに、完全に接続された畳み込みニューラルネットワークの場合、私たちは、重量スペースに作用している間にこれらのネットワークを不変のままにしておくすべてのグループが、単項マトリックスグループのサブグループであることを理論的に証明します。
既存のベースラインよりもモデルの利点を実証する経験的証拠を提供し、競争力のあるパフォーマンスと効率を達成します。

要約(オリジナル)

Neural functional networks (NFNs) have recently gained significant attention due to their diverse applications, ranging from predicting network generalization and network editing to classifying implicit neural representation. Previous NFN designs often depend on permutation symmetries in neural networks’ weights, which traditionally arise from the unordered arrangement of neurons in hidden layers. However, these designs do not take into account the weight scaling symmetries of $\ReLU$ networks, and the weight sign flipping symmetries of $\sin$ or $\Tanh$ networks. In this paper, we extend the study of the group action on the network weights from the group of permutation matrices to the group of monomial matrices by incorporating scaling/sign-flipping symmetries. Particularly, we encode these scaling/sign-flipping symmetries by designing our corresponding equivariant and invariant layers. We name our new family of NFNs the Monomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN). Because of the expansion of the symmetries, Monomial-NFN has much fewer independent trainable parameters compared to the baseline NFNs in the literature, thus enhancing the model’s efficiency. Moreover, for fully connected and convolutional neural networks, we theoretically prove that all groups that leave these networks invariant while acting on their weight spaces are some subgroups of the monomial matrix group. We provide empirical evidence to demonstrate the advantages of our model over existing baselines, achieving competitive performance and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google