Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes

要約

メッセージ パッシング (MP) メカニズムに基づくグラフ ニューラル ネットワークは、グラフ構造のデータを処理するための主要なアプローチです。
ただし、それらは本質的にペアごとの相互作用のみのモデル化に限定されているため、$n$-body 関係を持つシステムの複雑さを明示的に捉えることが困難になります。
これに対処するために、トポロジカルディープラーニングは、単純複合体や細胞複合体などのさまざまなトポロジカルドメインを使用して高次相互作用を研究およびモデル化するための有望な分野として浮上しています。
これらの新しいドメインは強力な表現を提供しますが、高次 MP を介した高次構造間の相互作用を効果的にモデル化するなど、新たな課題ももたらします。
一方、構造化状態空間シーケンス モデルはシーケンス モデリングに効果的であることが証明されており、最近ではノードの近傍をシーケンスとしてエンコードすることで MP メカニズムを回避し、グラフ データに適用されています。
この研究では、Mamba 状態空間モデルをバックボーンとして利用し、単純な複合体で動作するように設計された新しいアーキテクチャを提案します。
私たちのアプローチは、隣接するセルに基づいてノードのシーケンスを生成し、ランクに関係なく、すべての高次構造間の直接通信を可能にします。
私たちはモデルを広範囲に検証し、単純な複合体用に開発された最先端のモデルと比較して競争力のあるパフォーマンスを達成していることを実証しています。

要約(オリジナル)

Graph Neural Networks based on the message-passing (MP) mechanism are a dominant approach for handling graph-structured data. However, they are inherently limited to modeling only pairwise interactions, making it difficult to explicitly capture the complexity of systems with $n$-body relations. To address this, topological deep learning has emerged as a promising field for studying and modeling higher-order interactions using various topological domains, such as simplicial and cellular complexes. While these new domains provide powerful representations, they introduce new challenges, such as effectively modeling the interactions among higher-order structures through higher-order MP. Meanwhile, structured state-space sequence models have proven to be effective for sequence modeling and have recently been adapted for graph data by encoding the neighborhood of a node as a sequence, thereby avoiding the MP mechanism. In this work, we propose a novel architecture designed to operate with simplicial complexes, utilizing the Mamba state-space model as its backbone. Our approach generates sequences for the nodes based on the neighboring cells, enabling direct communication between all higher-order structures, regardless of their rank. We extensively validate our model, demonstrating that it achieves competitive performance compared to state-of-the-art models developed for simplicial complexes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google