Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations

要約

このペーパーでは、順列および関連グループの表現のための等量線形層の特性評価について説明します。
パラメーター共有を使用してこれらの問題に対処する従来のアプローチとは異なり、還元可能な表現とSchurの補題に基づいた代替方法論を検討します。
この方法論を使用して、ディープセット、2-Inグラフ等量ネットワーク、ディープウェイトスペース（DWS）ネットワークなどの既存のモデルの代替導出を取得します。
DWSネットワークの派生は、以前の結果の派生よりも大幅に単純です。
次に、アプローチを拡張していない対称セットへのアプローチを拡張します。ここでは、グループのリース製品に等しいことが必要です。
以前の作品は、この問題をかなり制限的な設定で取り上げてきました。この環境では、ほぼすべてのリース等量層がシャム人です。
対照的に、この場合は層の完全な特性評価を与え、いくつかの設定には膨大な数の非浅瀬層があることを示します。
また、これらの追加の非シアム層が、グラフの異常検出、重量空間アライメント、ワッサースタイン距離の学習などのタスクのパフォーマンスを改善できることを経験的に示しています。
私たちのコードは、\ href {https://github.com/yonatansverdlov/irreducible-presentations-of-deep-weight-spaces} {github}で入手できます。

要約(オリジナル)

This paper explores the characterization of equivariant linear layers for representations of permutations and related groups. Unlike traditional approaches, which address these problems using parameter-sharing, we consider an alternative methodology based on irreducible representations and Schur’s lemma. Using this methodology, we obtain an alternative derivation for existing models like DeepSets, 2-IGN graph equivariant networks, and Deep Weight Space (DWS) networks. The derivation for DWS networks is significantly simpler than that of previous results. Next, we extend our approach to unaligned symmetric sets, where equivariance to the wreath product of groups is required. Previous works have addressed this problem in a rather restrictive setting, in which almost all wreath equivariant layers are Siamese. In contrast, we give a full characterization of layers in this case and show that there is a vast number of additional non-Siamese layers in some settings. We also show empirically that these additional non-Siamese layers can improve performance in tasks like graph anomaly detection, weight space alignment, and learning Wasserstein distances. Our code is available at \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google