A Clifford Algebraic Approach to E(n)-Equivariant High-order Graph Neural Networks

要約

データ対称性を処理できるニューラルネットワークアーキテクチャの設計が重要です。
これは、ユークリッド変換の下で特性が同等である幾何学的グラフにとって特に重要です。
現在の等量グラフニューラルネットワーク（EGNNS）、特にメッセージの合格を使用しているものは、表現力に制限があります。
最近の高次グラフニューラルネットワークはこの制限を克服できますが、化学および物理科学の特定のアプリケーションの顕著な欠点を表す等拡大特性が欠けています。
この論文では、クリフォード代数の文脈で高次の局所構造を統合することで通過する高次のメッセージを強化する新しいEGNNであるClifford Group equivariant Graph Neural Networks（CG-EGNNS）を紹介します。
Clifford代数を使用することの重要な利点として、CG-EGNNは、位置の特徴から等量をキャプチャする機能を学習できます。
高次のメッセージ通過メカニズムを採用することにより、CG-EGNNは隣人からより豊富な情報を獲得し、モデルのパフォーマンスを向上させます。
さらに、$ k $ -hopメッセージパスフレームワークの普遍性を確立し、追加の$ k $ -hopメッセージパッシングメカニズムでCG-EGNNSのより大きな表現力を示します。
CG-EGNNSは、N-Body、CMUモーションキャプチャ、MD17などのさまざまなベンチマークで以前の方法を上回ることを経験的に検証し、幾何学的ディープラーニングにおける有効性を強調しています。

要約(オリジナル)

Designing neural network architectures that can handle data symmetry is crucial. This is especially important for geometric graphs whose properties are equivariance under Euclidean transformations. Current equivariant graph neural networks (EGNNs), particularly those using message passing, have a limitation in expressive power. Recent high-order graph neural networks can overcome this limitation, yet they lack equivariance properties, representing a notable drawback in certain applications in chemistry and physical sciences. In this paper, we introduce the Clifford Group Equivariant Graph Neural Networks (CG-EGNNs), a novel EGNN that enhances high-order message passing by integrating high-order local structures in the context of Clifford algebras. As a key benefit of using Clifford algebras, CG-EGNN can learn functions that capture equivariance from positional features. By adopting the high-order message passing mechanism, CG-EGNN gains richer information from neighbors, thus improving model performance. Furthermore, we establish the universality property of the $k$-hop message passing framework, showcasing greater expressive power of CG-EGNNs with additional $k$-hop message passing mechanism. We empirically validate that CG-EGNNs outperform previous methods on various benchmarks including n-body, CMU motion capture, and MD17, highlighting their effectiveness in geometric deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google