HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer

要約

最近の研究では、メッセージ パッシング ベースのグラフ ニューラル ネットワーク (GNN) の限界、たとえば、モデルの表現力の制限、過度の平滑化、過剰なスカッシングなどが強調されています。これらの問題を軽減するために、グラフ トランスフォーマー (GT) が提案されています。
グラフ全体でさえもより大きなカバレッジにメッセージを渡すことを可能にするパラダイム。
GT は、グローバル レンジ アテンション メカニズムに依存しており、同種グラフでの表現学習の超能力を示しています。
ただし、異種情報ネットワーク (HIN) 上の GT の調査は、まだ十分に活用されていません。
特に、異質性が存在するため、HIN は異なるデータ特性を示すため、異なる処理が必要です。
このギャップを埋めるために、この論文では、Graph Transformer を使用した HIN での表現学習を調査し、HINormer という名前の新しいモデルを提案します。これは、ノード表現学習のためのより広い範囲の集約メカニズムを利用します。
特に、HINormer は、ローカル構造エンコーダーと異種関係エンコーダーという 2 つの主要なモジュールによって支援され、包括的なノード表現のために HIN 上のノードの構造情報と異種情報の両方をキャプチャできます。
4 つの HIN ベンチマーク データセットで大規模な実験を行い、提案したモデルが最先端のモデルよりも優れていることを示しています。

要約(オリジナル)

Recent studies have highlighted the limitations of message-passing based graph neural networks (GNNs), e.g., limited model expressiveness, over-smoothing, over-squashing, etc. To alleviate these issues, Graph Transformers (GTs) have been proposed which work in the paradigm that allows message passing to a larger coverage even across the whole graph. Hinging on the global range attention mechanism, GTs have shown a superpower for representation learning on homogeneous graphs. However, the investigation of GTs on heterogeneous information networks (HINs) is still under-exploited. In particular, on account of the existence of heterogeneity, HINs show distinct data characteristics and thus require different treatment. To bridge this gap, in this paper we investigate the representation learning on HINs with Graph Transformer, and propose a novel model named HINormer, which capitalizes on a larger-range aggregation mechanism for node representation learning. In particular, assisted by two major modules, i.e., a local structure encoder and a heterogeneous relation encoder, HINormer can capture both the structural and heterogeneous information of nodes on HINs for comprehensive node representations. We conduct extensive experiments on four HIN benchmark datasets, which demonstrate that our proposed model can outperform the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google