Self-supervised Learning for Heterogeneous Graph via Structure Information based on Metapath

要約

グラフニューラルネットワーク（GNN）は、普遍的なノード表現を学習することで、グラフ構造データをモデル化し、扱うための支配的なパラダイムである。従来のGNNの学習方法は、多くのラベル付きデータに依存しており、その結果、コストと時間に大きな要求がある。また、ある特殊なシーンでは、ラベル付けされたデータを利用することができず、実用的でない場合もある。この問題に対して、グラフ構造データそのものからラベルを生成できる自己教師付き表現学習が有効であると考えられる。しかし、異種グラフに対する自己教師あり学習は、同種のグラフに対する自己教師あり学習よりも困難であり、研究も少ない。本論文では、メタパスに基づく構造情報(SESIM)を用いたヘテロジニアスグラフの教師あり学習法を提案する。提案手法は、各メタパスのノード間のジャンプ数を予測することにより、前テキストタスクを構築し、一次タスクの表現能力を向上させることができる。ジャンプ数を予測するために、SESIMはデータそのものを利用してラベルを生成するため、時間のかかる手動でのラベル付けを回避することができる。また、各メタパスにおけるジャンプ回数を予測することで、ノード間の本質的な性質であるグラフ構造情報を有効に活用することができる。したがって、SESIMはグラフ構造に対するモデルの理解を深めることができる。最後に、主タスクと前テキストタスクを合同で学習し、メタ学習を用いて前テキストタスクの主タスクに対する貢献度をバランスさせる。実証実験の結果、SESIM法の性能が検証され、リンク予測タスクとノード分類タスクにおいて、この方法が従来のニューラルネットワークの表現能力を向上させることができることが示された。

要約(オリジナル)

graph neural networks (GNNs) are the dominant paradigm for modeling and handling graph structure data by learning universal node representation. The traditional way of training GNNs depends on a great many labeled data, which results in high requirements on cost and time. In some special scene, it is even unavailable and impracticable. Self-supervised representation learning, which can generate labels by graph structure data itself, is a potential approach to tackle this problem. And turning to research on self-supervised learning problem for heterogeneous graphs is more challenging than dealing with homogeneous graphs, also there are fewer studies about it. In this paper, we propose a SElfsupervised learning method for heterogeneous graph via Structure Information based on Metapath (SESIM). The proposed model can construct pretext tasks by predicting jump number between nodes in each metapath to improve the representation ability of primary task. In order to predict jump number, SESIM uses data itself to generate labels, avoiding time-consuming manual labeling. Moreover, predicting jump number in each metapath can effectively utilize graph structure information, which is the essential property between nodes. Therefore, SESIM deepens the understanding of models for graph structure. At last, we train primary task and pretext tasks jointly, and use meta-learning to balance the contribution of pretext tasks for primary task. Empirical results validate the performance of SESIM method and demonstrate that this method can improve the representation ability of traditional neural networks on link prediction task and node classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL