G-RepsNet: A Fast and General Construction of Equivariant Networks for Arbitrary Matrix Groups

要約

グループ等分散は、幅広い深層学習タスクで役立つ強力な帰納的バイアスです。
しかし、一般的なグループやドメインに対して効率的な等変ネットワークを構築することは困難です。
Finzi らによる最近の研究。
(2021) は、任意の行列グループの等分散制約を直接解き、等変 MLP (EMLP) を取得します。
しかし、この方法は拡張性に優れておらず、深層学習では拡張性が非常に重要です。
ここでは、テンソル多項式を使用して表現された特徴を持つ任意の行列グループの軽量等変ネットワークであるグループ表現ネットワーク (G-RepsNets) を紹介します。
私たちの設計における重要な直観は、単純で安価なテンソル演算とともにニューラル ネットワークの隠れ層でテンソル表現を使用すると、表現力豊かなユニバーサル等変ネットワークが得られるということです。
G-RepsNet は、データ型としてスカラー、ベクトル、2 次テンソルを使用する O(5)、O(1, 3)、O(3) などのグループ対称性を持ついくつかのタスクにおいて EMLP に匹敵することがわかりました。
画像分類タスクでは、2 次表現を使用する G-RepsNet が競争力があり、GCNN (Cohen & Welling、2016a) や E(2)-CNN (
ワイラーとセサ、2019)。
私たちのアプローチの一般性をさらに説明するために、G-RepsNet が N 体予測と偏微分方程式の解法に関して、それぞれ G-FNO (Helwig et al., 2023) および EGNN (Satorras et al., 2021) と競合することを示します。
効率的でありながら。

要約(オリジナル)

Group equivariance is a strong inductive bias useful in a wide range of deep learning tasks. However, constructing efficient equivariant networks for general groups and domains is difficult. Recent work by Finzi et al. (2021) directly solves the equivariance constraint for arbitrary matrix groups to obtain equivariant MLPs (EMLPs). But this method does not scale well and scaling is crucial in deep learning. Here, we introduce Group Representation Networks (G-RepsNets), a lightweight equivariant network for arbitrary matrix groups with features represented using tensor polynomials. The key intuition for our design is that using tensor representations in the hidden layers of a neural network along with simple inexpensive tensor operations can lead to expressive universal equivariant networks. We find G-RepsNet to be competitive to EMLP on several tasks with group symmetries such as O(5), O(1, 3), and O(3) with scalars, vectors, and second-order tensors as data types. On image classification tasks, we find that G-RepsNet using second-order representations is competitive and often even outperforms sophisticated state-of-the-art equivariant models such as GCNNs (Cohen & Welling, 2016a) and E(2)-CNNs (Weiler & Cesa, 2019). To further illustrate the generality of our approach, we show that G-RepsNet is competitive to G-FNO (Helwig et al., 2023) and EGNN (Satorras et al., 2021) on N-body predictions and solving PDEs, respectively, while being efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google