On the Completeness of Invariant Geometric Deep Learning Models

要約

幾何学的な深い学習モデルの重要なクラスの1つの不変モデルは、ポイントクラウドで有益な幾何学的特徴を活用することにより、意味のある幾何学的表現を生成することができます。
これらのモデルは、それらのシンプルさ、優れた実験結果、計算効率によって特徴付けられます。
しかし、それらの理論的表現力はまだ不明のままであり、そのようなモデルの可能性についてのより深い理解を制限しています。
この作業では、完全に接続された条件下で広範囲の不変モデルの理論的表現性を特徴付けることに集中します。
最初に、最も古典的な不変モデルの表現力を厳密に特徴づけ、距離（disgnn）を組み込んだメッセージ通過ニューラルネットワークを特徴付け、その識別不可能なケースを高度に対称的な点雲のみに制限します。
次に、最も単純なサブグラフグラフニューラルネットワークの1つである幾何学的な対応物であるGeongnnが、これらのコーナーケースの対称性を効果的に破壊し、したがってE（3）補体を達成できることを証明します。
Geongnnを理論的ツールとして活用することにより、次のことをさらに証明します。1）従来のグラフ学習で開発されたほとんどのサブグラフGNNは、E（3） – 複合性を備えた幾何学的シナリオにシームレスに拡張できます。
2）dimenet、gement、およびspherenet、3つの確立された不変モデルも、すべてE（3） – 複製性を達成することができます。
私たちの理論的結果は、不変モデルの表現力のある力のギャップを埋め、それらの能力の厳密かつ包括的な理解に貢献しています。

要約(オリジナル)

Invariant models, one important class of geometric deep learning models, are capable of generating meaningful geometric representations by leveraging informative geometric features in point clouds. These models are characterized by their simplicity, good experimental results and computational efficiency. However, their theoretical expressive power still remains unclear, restricting a deeper understanding of the potential of such models. In this work, we concentrate on characterizing the theoretical expressiveness of a wide range of invariant models under fully-connected conditions. We first rigorously characterize the expressiveness of the most classic invariant model, message-passing neural networks incorporating distance (DisGNN), restricting its unidentifiable cases to be only highly symmetric point clouds. We then prove that GeoNGNN, the geometric counterpart of one of the simplest subgraph graph neural networks, can effectively break these corner cases’ symmetry and thus achieve E(3)-completeness. By leveraging GeoNGNN as a theoretical tool, we further prove that: 1) most subgraph GNNs developed in traditional graph learning can be seamlessly extended to geometric scenarios with E(3)-completeness; 2) DimeNet, GemNet and SphereNet, three well-established invariant models, are also all capable of achieving E(3)-completeness. Our theoretical results fill the gap in the expressive power of invariant models, contributing to a rigorous and comprehensive understanding of their capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google