On the Completeness of Invariant Geometric Deep Learning Models

要約

幾何学的な深層学習モデルの重要なクラスの 1 つであるインバリアント モデルは、有益な幾何学的特徴を活用して意味のある幾何学的表現を生成できます。
これらのモデルは、その単純さ、優れた実験結果、および計算効率によって特徴付けられます。
しかし、その理論的な表現力は依然として不明瞭であり、そのようなモデルの可能性についてのより深い理解は制限されています。
この研究では、不変モデルの理論的表現力の特徴付けに焦点を当てます。
まず、最も古典的な不変モデルである Vanilla DisGNN (距離を組み込んだメッセージ パッシング ニューラル ネットワーク) の表現力を厳密に制限し、その識別不可能なケースを対称性の高い幾何学グラフのみに制限しました。
これらのコーナーケースの対称性を破るために、GeoNGNN という名前の Vanilla DisGNN をネストすることにより、単純でありながら E(3) 完全不変設計を導入します。
GeoNGNN を理論ツールとして活用することで、確立された 3 つの幾何モデル (DimeNet、GemNet、SphereNet) の E(3) 完全性を初めて証明しました。
私たちの結果は、不変モデルの理論的能力のギャップを埋め、その機能の厳密かつ包括的な理解に貢献します。
実験的に、GeoNGNN はローカル環境の捕捉において優れた誘導バイアスを示し、環境に関して競争力のある結果を達成しました。
高次の不変式/等価式表現に依存する複雑なモデルを実現しながら、大幅に高速な計算速度を示します。

要約(オリジナル)

Invariant models, one important class of geometric deep learning models, are capable of generating meaningful geometric representations by leveraging informative geometric features. These models are characterized by their simplicity, good experimental results and computational efficiency. However, their theoretical expressive power still remains unclear, restricting a deeper understanding of the potential of such models. In this work, we concentrate on characterizing the theoretical expressiveness of invariant models. We first rigorously bound the expressiveness of the most classical invariant model, Vanilla DisGNN (message passing neural networks incorporating distance), restricting its unidentifiable cases to be only those highly symmetric geometric graphs. To break these corner cases’ symmetry, we introduce a simple yet E(3)-complete invariant design by nesting Vanilla DisGNN, named GeoNGNN. Leveraging GeoNGNN as a theoretical tool, we for the first time prove the E(3)-completeness of three well-established geometric models: DimeNet, GemNet and SphereNet. Our results fill the gap in the theoretical power of invariant models, contributing to a rigorous and comprehensive understanding of their capabilities. Experimentally, GeoNGNN exhibits good inductive bias in capturing local environments, and achieves competitive results w.r.t. complicated models relying on high-order invariant/equivariant representations while exhibiting significantly faster computational speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google