Topological Blindspots: Understanding and Extending Topological Deep Learning Through the Lens of Expressivity

要約

トポロジーディープラーニング（TDL）は、データのトポロジー構造を活用し、分子から3D形状までのトポロジオブジェクトでサポートされているデータから学習を促進しようとする急速に成長している分野です。
ほとんどのTDLアーキテクチャは、高次のメッセージパス（HOMP）のフレームワークの下で統合できます。
論文の最初の部分では、トポロジーの観点からHOMPの表現力を探求し、直径、方向性、平面性、相同性などの基本的なトポロジおよびメトリックの不変剤をキャプチャできないことを示しています。
さらに、グラフの持ち上げおよびプーリング方法を完全に活用することにおけるHOMPの制限を示します。
私たちの知る限り、これは\ emph {トポロジー}の視点からTDLの表現力を研究する最初の作業です。
ペーパーの第2部では、表現力豊かなGNNからインスピレーションを得る、マルチセラーネットワーク（MCN）とスケーラブルMCN（SMCN）の2つの新しいクラスのアーキテクチャを開発します。
MCNは完全な表現性に達する可能性がありますが、大規模なデータオブジェクトにスケーリングすることは、計算的に拡大する可能性があります。
よりスケーラブルな代替品として設計されたSMCNは、HOMPの表現力の制限の多くを依然として緩和しています。
最後に、複合体のトポロジカル特性を学習する能力に基づいてモデルを評価するための新しいベンチマークを作成します。
次に、これらのベンチマークと実際のグラフデータセットでSMCNを評価し、HOMPベースラインと表現力豊かなグラフ法の両方で改善を示し、トポロジー情報を表現的に活用する価値を強調します。
コードとデータはhttps://github.com/yoavgelberg/smcnで入手できます。

要約(オリジナル)

Topological deep learning (TDL) is a rapidly growing field that seeks to leverage topological structure in data and facilitate learning from data supported on topological objects, ranging from molecules to 3D shapes. Most TDL architectures can be unified under the framework of higher-order message-passing (HOMP), which generalizes graph message-passing to higher-order domains. In the first part of the paper, we explore HOMP’s expressive power from a topological perspective, demonstrating the framework’s inability to capture fundamental topological and metric invariants such as diameter, orientability, planarity, and homology. In addition, we demonstrate HOMP’s limitations in fully leveraging lifting and pooling methods on graphs. To the best of our knowledge, this is the first work to study the expressivity of TDL from a \emph{topological} perspective. In the second part of the paper, we develop two new classes of architectures — multi-cellular networks (MCN) and scalable MCN (SMCN) — which draw inspiration from expressive GNNs. MCN can reach full expressivity, but scaling it to large data objects can be computationally expansive. Designed as a more scalable alternative, SMCN still mitigates many of HOMP’s expressivity limitations. Finally, we create new benchmarks for evaluating models based on their ability to learn topological properties of complexes. We then evaluate SMCN on these benchmarks and on real-world graph datasets, demonstrating improvements over both HOMP baselines and expressive graph methods, highlighting the value of expressively leveraging topological information. Code and data are available at https://github.com/yoavgelberg/SMCN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google