Exploiting Latent Attribute Interaction with Transformer on Heterogeneous Information Networks

要約

異種グラフ ニューラル ネットワーク (HGNN) は、現実世界のアプリケーションで広く使われている異種グラフのモデル化において、優れた機能を最近示しました。
異なるタイプのノードの属性は多様であるため、ほとんどの既存のモデルでは、最初にノードを同じ低次元空間にマッピングすることによってノードを位置合わせします。
ただし、この方法ではノードの型情報が失われます。
さらに、それらのほとんどはノード間の相互作用のみを考慮し、異なるノード機能間の潜在的な相互作用の背後にある高次の情報を無視します。
これらの問題に対処するために、本論文では、タイプ認識エンコーダと次元認識エンコーダという 2 つの主要コンポーネントを含む、新しい異種グラフ モデル MULAN を提案します。
具体的には、タイプ認識エンコーダーは、ノードタイプ情報の損失を補償し、ノード表現の学習においてグラフの異質性をより適切に活用します。
トランスフォーマ アーキテクチャに基づいて構築された次元認識エンコーダは、さまざまなノード機能間の潜在的な相互作用をキャプチャできます。
これらのコンポーネントを使用すると、グラフの異質性、ノードの特徴、グラフ構造の情報をノード表現に包括的にエンコードできます。
私たちは 6 つの異種ベンチマーク データセットで広範な実験を実施し、他の最先端の競合他社に対する MULAN の優位性を実証し、MULAN が効率的であることも示しています。

要約(オリジナル)

Heterogeneous graph neural networks (HGNNs) have recently shown impressive capability in modeling heterogeneous graphs that are ubiquitous in real-world applications. Due to the diversity of attributes of nodes in different types, most existing models first align nodes by mapping them into the same low-dimensional space. However, in this way, they lose the type information of nodes. In addition, most of them only consider the interactions between nodes while neglecting the high-order information behind the latent interactions among different node features. To address these problems, in this paper, we propose a novel heterogeneous graph model MULAN, including two major components, i.e., a type-aware encoder and a dimension-aware encoder. Specifically, the type-aware encoder compensates for the loss of node type information and better leverages graph heterogeneity in learning node representations. Built upon transformer architecture, the dimension-aware encoder is capable of capturing the latent interactions among the diverse node features. With these components, the information of graph heterogeneity, node features and graph structure can be comprehensively encoded in node representations. We conduct extensive experiments on six heterogeneous benchmark datasets, which demonstrates the superiority of MULAN over other state-of-the-art competitors and also shows that MULAN is efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google