Using Graph Algorithms to Pretrain Graph Completion Transformers

要約

グラフ ニューラル ネットワークに関する最近の研究では、自己教師ありの事前トレーニングによって、下流のグラフ、リンク、およびノー​​ド分類タスクのパフォーマンスがさらに向上することが実証されています。
ただし、事前トレーニング タスクの有効性は、ダウンストリームの大規模なナレッジ グラフ完了タスクに対して十分に調査されていません。
コンテキスト化されたナレッジ グラフ埋め込みアプローチを使用して、いくつかのグラフ アルゴリズムを使用し、外部データを使用せずに構築された 5 つの異なる事前トレーニング シグナルと、それらの組み合わせを調査します。
Transformer ベースのモデルの汎用性を活用して、グラフ構造生成の事前トレーニング タスク (つまり、パスおよび k ホップ近傍生成) を探索します。通常、ほとんどのグラフ埋め込み方法には適用できません。
さらに、情報獲得によって導かれる新しいパス検索アルゴリズムを提案し、それが 3 つのダウンストリーム ナレッジ グラフ補完データセット全体で最高のパフォーマンスを発揮する事前トレーニング タスクであることを発見しました。
新しい経路探索アルゴリズムを事前トレーニング シグナルとして使用すると、MRR が 2 ～ 3% 改善されますが、すべてのシグナルを一緒に事前トレーニングすると、最高のナレッジ グラフ補完結果が得られることがわかります。
すべての事前トレーニング タスクを組み合わせたマルチタスク設定では、FB15K-237 のすべてのメトリック、WN18RR の MRR と Hit@1、JF17K の MRR と hit@10 (ナレッジ ハイパーグラフ
データセット)。

要約(オリジナル)

Recent work on Graph Neural Networks has demonstrated that self-supervised pretraining can further enhance performance on downstream graph, link, and node classification tasks. However, the efficacy of pretraining tasks has not been fully investigated for downstream large knowledge graph completion tasks. Using a contextualized knowledge graph embedding approach, we investigate five different pretraining signals, constructed using several graph algorithms and no external data, as well as their combination. We leverage the versatility of our Transformer-based model to explore graph structure generation pretraining tasks (i.e. path and k-hop neighborhood generation), typically inapplicable to most graph embedding methods. We further propose a new path-finding algorithm guided by information gain and find that it is the best-performing pretraining task across three downstream knowledge graph completion datasets. While using our new path-finding algorithm as a pretraining signal provides 2-3% MRR improvements, we show that pretraining on all signals together gives the best knowledge graph completion results. In a multitask setting that combines all pretraining tasks, our method surpasses the latest and strong performing knowledge graph embedding methods on all metrics for FB15K-237, on MRR and Hit@1 for WN18RRand on MRR and hit@10 for JF17K (a knowledge hypergraph dataset).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google