Long-range Dependency based Multi-Layer Perceptron for Heterogeneous Information Networks

要約

既存のヘテロジニアス グラフ ニューラル ネットワーク (HGNN) は、ヘテロジニアス情報ネットワーク (HIN) の豊富なセマンティック情報を利用することに大きな成功を収めています。
ただし、HIN の長距離依存関係の利用について掘り下げた研究はほとんどありません。現実世界の HIN の多くは疎であり、各ノードには直接接続された隣接ノードが少数しかないため、これは非常に価値があります。
一部の HGNN は、複数のレイヤーを積み重ねたり、長いメタパスを活用したりすることで、遠くにある隣接ノードを利用できますが、受容野のノード数やメタパスの数が指数関数的に増加すると、高い計算コストとメモリ コストが発生します。
これらの問題に対処するために、私たちはさまざまなメタパスの重要性を調査し、長距離依存関係ベースの多層パーセプトロン (LDMLP) を提案します。
具体的には、長距離の依存関係を活用するという高コストの問題を解決するために、LDMLP は効果的なメタパスを自動的に発見する検索ステージを採用し、指数関数的に増加したメタパスの数を一定に減らします。
検索結果に対する特定のモジュールの影響を回避するために、LDMLP は検索段階で多層認識のみを備えたシンプルなアーキテクチャを利用し、検索されたメタパスの一般化を向上させます。
その結果、検索されたメタパスは LDMLP で良好なパフォーマンスを発揮するだけでなく、HAN や SeHGNN などの他の HGNN のパフォーマンスも向上します。
8 つの異種データセットに対する広範な実験により、LDMLP が、特に疎な HIN において高い効率と汎用性を享受しながら、最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Existing heterogeneous graph neural networks (HGNNs) have achieved great success in utilizing the rich semantic information in heterogeneous information networks (HINs). However, few works have delved into the utilization of long-range dependencies in HINs, which is extremely valuable as many real-world HINs are sparse, and each node has only a few directly connected neighbors. Although some HGNNs can utilize distant neighbors by stacking multiple layers or leveraging long meta-paths, the exponentially increased number of nodes in the receptive field or the number of meta-paths incurs high computation and memory costs. To address these issues, we investigate the importance of different meta-paths and propose Long-range Dependency based Multi-Layer Perceptron (LDMLP). Specifically, to solve the high-cost problem of leveraging long-range dependencies, LDMLP adopts a search stage to discover effective meta-paths automatically, reducing the exponentially increased number of meta-paths to a constant. To avoid the influence of specific modules on search results, LDMLP utilizes a simple architecture with only multi-layer perceptions in the search stage, improving the generalization of searched meta-paths. As a result, the searched meta-paths not only perform well in LDMLP but also enable other HGNNs like HAN and SeHGNN to perform better. Extensive experiments on eight heterogeneous datasets demonstrate that LDMLP achieves state-of-the-art performance while enjoying high efficiency and generalization, especially on sparse HINs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google