Scalable Link Prediction on Large-Scale Heterogeneous Graphs with Large Language Models

要約

大規模な言語モデルをグラフ学習に応用することは、新しい試みです。
ただし、大きなグラフには膨大な量の情報が含まれるため、このプロセスには大きな課題が生じます。
この論文では、リンク予測タスクに焦点を当て、大規模な異種グラフでのスケーラブルなリンク予測のために設計された大規模言語モデルに基づくフレームワークである LPNL (自然言語によるリンク予測) を紹介します。グラフの詳細を明確にするリンク予測のための新しいプロンプトを設計します。
自然言語で。
私たちは、大規模な異種グラフから重要な情報を抽出する 2 段階のサンプリング パイプラインと、入力トークン数を事前定義された制限内で制御する分割統治戦略を提案し、圧倒的な情報の課題に対処します。
リンク予測用に設計された自己教師あり学習に基づいて T5 モデルを微調整します。
大規模な公開異種グラフでの広範な実験により、LPNL がさまざまな高度なベースラインを上回るパフォーマンスを示し、大規模なグラフでのリンク予測タスクにおける顕著なパフォーマンスが強調されています。

要約(オリジナル)

Exploring the application of large-scale language models to graph learning is a novel endeavor. However, the vast amount of information inherent in large graphs poses significant challenges to this process. This paper focuses on the link prediction task and introduces LPNL (Link Prediction via Natural Language), a framework based on a large language model designed for scalable link prediction on large-scale heterogeneous graphs.We design novel prompts for link prediction that articulate graph details in natural language. We propose a two-stage sampling pipeline to extract crucial information from large-scale heterogeneous graphs, and a divide-and-conquer strategy to control the input token count within predefined limits, addressing the challenge of overwhelming information. We fine-tune a T5 model based on our self-supervised learning designed for for link prediction. Extensive experiments on a large public heterogeneous graphs demonstrate that LPNL outperforms various advanced baselines, highlighting its remarkable performance in link prediction tasks on large-scale graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google