Fast, Expressive SE$(n)$ Equivariant Networks through Weight-Sharing in Position-Orientation Space

要約

均一空間の理論に基づいて、柔軟なメッセージ パッシング フレームワーク内で使用される \textit{幾何学的に最適なエッジ属性} を導出します。
畳み込みネットワークにおける重み共有の概念を、平等に扱われるべきポイントペアにわたるメッセージ関数の共有として形式化します。
グループ内の変換まで同一である点ペアの同値クラスを定義し、これらのクラスを一意に識別する属性を導出します。
次に、これらの属性に基づいてメッセージ関数を条件付けすることによって、重みの共有が得られます。
理論の応用として、3D 点群を処理するための効率的な等変グループ畳み込みネットワークを開発します。
均一空間の理論は、位置 $\mathbb{R}^3$、位置と方向 $\mathbb{R}^3 {\times} S^2$ の均一空間上で特徴マップを使用してグループ畳み込みを行う方法を教えてくれます。
、およびグループ SE$(3)$ 自体。
これらの中で、$\mathbb{R}^3 {\times} S^2$ は、$\mathbb{R}^3$ メソッドでは表現できない方向情報を表現できるため、最適な選択であり、計算能力が大幅に向上します。
完全な SE$(3)$ グループのインデックス作成機能と比較した効率。
私たちは、原子間位置エネルギー予測、N 体系の軌道予測、等変拡散モデルによる分子生成という 3 つの異なるベンチマークで精度と速度の点で最先端の結果に達することで、この主張を経験的に裏付けています。

要約(オリジナル)

Based on the theory of homogeneous spaces we derive \textit{geometrically optimal edge attributes} to be used within the flexible message passing framework. We formalize the notion of weight sharing in convolutional networks as the sharing of message functions over point-pairs that should be treated equally. We define equivalence classes of point-pairs that are identical up to a transformation in the group and derive attributes that uniquely identify these classes. Weight sharing is then obtained by conditioning message functions on these attributes. As an application of the theory, we develop an efficient equivariant group convolutional network for processing 3D point clouds. The theory of homogeneous spaces tells us how to do group convolutions with feature maps over the homogeneous space of positions $\mathbb{R}^3$, position and orientations $\mathbb{R}^3 {\times} S^2$, and the group SE$(3)$ itself. Among these, $\mathbb{R}^3 {\times} S^2$ is an optimal choice due to the ability to represent directional information, which $\mathbb{R}^3$ methods cannot, and it significantly enhances computational efficiency compared to indexing features on the full SE$(3)$ group. We empirically support this claim by reaching state-of-the-art results — in accuracy and speed — on three different benchmarks: interatomic potential energy prediction, trajectory forecasting in N-body systems, and generating molecules via equivariant diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google