Generalized Simplicial Attention Neural Networks

要約

この研究の目的は、一般化単純注意ニューラル ネットワーク (GSAN)、つまり、マスクされた自己注意層を使用して単純複合上に定義されたデータを処理するように設計された新しいニューラル アーキテクチャを導入することです。
トポロジカル信号処理原理に基づいて、ノード、エッジ、三角形など、さまざまな単純次数で定義されたデータ コンポーネントを処理できる一連のセルフアテンション スキームを考案します。
これらのスキームは、ディラック演算子とそのディラック分解を通じて、異なる次数の単純要素間の相互作用を利用して、タスク指向の方法で特定の位相領域の近傍に重みを付ける方法を学習します。
また、GSAN は順列等変であり、単純化を認識していることも理論的に確立しています。
最後に、軌道予測、欠損データ補完、グラフ分類、シンプレックス予測などのいくつかの (帰納的および変換的) タスクに適用した場合に、私たちのアプローチが他の方法とどのように有利に比較できるかを示します。

要約(オリジナル)

The aim of this work is to introduce Generalized Simplicial Attention Neural Networks (GSANs), i.e., novel neural architectures designed to process data defined on simplicial complexes using masked self-attentional layers. Hinging on topological signal processing principles, we devise a series of self-attention schemes capable of processing data components defined at different simplicial orders, such as nodes, edges, triangles, and beyond. These schemes learn how to weight the neighborhoods of the given topological domain in a task-oriented fashion, leveraging the interplay among simplices of different orders through the Dirac operator and its Dirac decomposition. We also theoretically establish that GSANs are permutation equivariant and simplicial-aware. Finally, we illustrate how our approach compares favorably with other methods when applied to several (inductive and transductive) tasks such as trajectory prediction, missing data imputation, graph classification, and simplex prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google