E(n) Equivariant Topological Neural Networks

要約

グラフ・ニューラル・ネットワークは、ペアワイズ相互作用のモデリングに優れているが、高次の相互作用や特徴に柔軟に対応することができない。トポロジカル深層学習（TDL）は、この問題を解決する有望なツールとして最近登場した。TDLは、グラフの代わりに、単純空間やセル複合体のような組み合わせ論的位相空間を操作することで、任意の多方向、階層的な高次相互作用の原理的モデリングを可能にする。しかし、位置や速度のような幾何学的特徴をTDLに活用する方法についてはほとんど知られていない。本論文では、E(n)変量トポロジカルニューラルネットワーク(ETNNs)を紹介する。ETNNsはE(n)変量メッセージパッシングネットワークであり、グラフ、ハイパーグラフ、シンプレシャル、パス、セルコンプレックスを統合したフォーマルオブジェクトである組合せコンプレックス上で動作する。ETNNは、回転、反射、並進の等価性を尊重しながら、幾何学的なノードの特徴を取り入れている。さらに、ETNNは異種相互作用のある設定にネイティブに対応できる。我々は、幾何学的グラフのためのアーキテクチャよりもETNNの表現力が向上していることを示す理論的分析を提供する。また、TDLモデルのE(n)変量変形が、我々のフレームワークからどのように直接導出できるかを示す。i)QM9ベンチマークでの分子特性予測、ii)多解像度の不規則な地理空間データを用いた大気汚染の超局所推定のための土地利用回帰。その結果、ETNNは、SotA等変量TDLモデルに匹敵するか、それを凌駕するほど少ない計算負荷で、多様な種類の豊富な構造化データから学習するための効果的なツールであることが示され、原理的な幾何学的帰納バイアスの利点が強調された。

要約(オリジナル)

Graph neural networks excel at modeling pairwise interactions, but they cannot flexibly accommodate higher-order interactions and features. Topological deep learning (TDL) has emerged recently as a promising tool for addressing this issue. TDL enables the principled modeling of arbitrary multi-way, hierarchical higher-order interactions by operating on combinatorial topological spaces, such as simplicial or cell complexes, instead of graphs. However, little is known about how to leverage geometric features such as positions and velocities for TDL. This paper introduces E(n)-Equivariant Topological Neural Networks (ETNNs), which are E(n)-equivariant message-passing networks operating on combinatorial complexes, formal objects unifying graphs, hypergraphs, simplicial, path, and cell complexes. ETNNs incorporate geometric node features while respecting rotation, reflection, and translation equivariance. Moreover, ETNNs are natively ready for settings with heterogeneous interactions. We provide a theoretical analysis to show the improved expressiveness of ETNNs over architectures for geometric graphs. We also show how E(n)-equivariant variants of TDL models can be directly derived from our framework. The broad applicability of ETNNs is demonstrated through two tasks of vastly different scales: i) molecular property prediction on the QM9 benchmark and ii) land-use regression for hyper-local estimation of air pollution with multi-resolution irregular geospatial data. The results indicate that ETNNs are an effective tool for learning from diverse types of richly structured data, as they match or surpass SotA equivariant TDL models with a significantly smaller computational burden, thus highlighting the benefits of a principled geometric inductive bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL