Heterogeneous Sheaf Neural Networks

要約

さまざまなタイプのノードとエッジを含む異種グラフは、多くの実世界のアプリケーションでリレーショナル構造をモデル化するためによく使用されます。
標準グラフ ニューラル ネットワーク (GNN) は、過度の平滑化が原因で異種データの処理に苦労します。
代わりに、現在のアプローチはモデル アーキテクチャ内の異質性を考慮することに焦点を当てており、ますます複雑なモデルにつながっています。
最近の研究に触発されて、セルラー層を使用してグラフの基礎となるトポロジの不均一性をモデル化することを提案します。
データをグラフとしてモデル化する代わりに、データをセルラー層として表現します。これにより、さまざまなデータ型をデータ構造に直接エンコードできるようになり、アーキテクチャにデータ型を注入する必要がなくなります。
異種層ニューラル ネットワークの一般的なフレームワークである HetSheaf と、データの不均一性を層構造に適切にエンコードするための一連の異種層予測子を紹介します。
最後に、いくつかの標準的な異種グラフ ベンチマークで HetSheaf を経験的に評価し、パラメータ効率を高めながら競争力のある結果を達成しました。

要約(オリジナル)

Heterogeneous graphs, with nodes and edges of different types, are commonly used to model relational structures in many real-world applications. Standard Graph Neural Networks (GNNs) struggle to process heterogeneous data due to oversmoothing. Instead, current approaches have focused on accounting for the heterogeneity in the model architecture, leading to increasingly complex models. Inspired by recent work, we propose using cellular sheaves to model the heterogeneity in the graph’s underlying topology. Instead of modelling the data as a graph, we represent it as cellular sheaves, which allows us to encode the different data types directly in the data structure, eliminating the need to inject them into the architecture. We introduce HetSheaf, a general framework for heterogeneous sheaf neural networks, and a series of heterogeneous sheaf predictors to better encode the data’s heterogeneity into the sheaf structure. Finally, we empirically evaluate HetSheaf on several standard heterogeneous graph benchmarks, achieving competitive results whilst being more parameter-efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google