LPNL: Scalable Link Prediction with Large Language Models

要約

大規模言語モデル (LLM) をグラフ学習に適用することは、新たな取り組みとなっています。
ただし、大きなグラフには膨大な量の情報が含まれるため、このプロセスには大きな課題が生じます。
この研究はリンク予測タスクに焦点を当て、大規模な異種グラフ上でスケーラブルなリンク予測を行うために設計された大規模言語モデルに基づくフレームワークである $\textbf{LPNL}$ (自然言語によるリンク予測) を紹介します。
私たちは、自然言語でグラフの詳細を明確にする、リンク予測のための新しいプロンプトを設計します。
私たちは、グラフから重要な情報を抽出するための 2 段階のサンプリング パイプラインと、事前定義された制限内で入力トークンを制御する分割統治戦略を提案し、圧倒的な情報の課題に対処します。
リンク予測用に設計された自己教師あり学習に基づいて T5 モデルを微調整します。
広範な実験結果は、LPNL が大規模なグラフ上のリンク予測タスクにおいて複数の高度なベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Exploring the application of large language models (LLMs) to graph learning is a emerging endeavor. However, the vast amount of information inherent in large graphs poses significant challenges to this process. This work focuses on the link prediction task and introduces $\textbf{LPNL}$ (Link Prediction via Natural Language), a framework based on large language models designed for scalable link prediction on large-scale heterogeneous graphs. We design novel prompts for link prediction that articulate graph details in natural language. We propose a two-stage sampling pipeline to extract crucial information from the graphs, and a divide-and-conquer strategy to control the input tokens within predefined limits, addressing the challenge of overwhelming information. We fine-tune a T5 model based on our self-supervised learning designed for link prediction. Extensive experimental results demonstrate that LPNL outperforms multiple advanced baselines in link prediction tasks on large-scale graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google