Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs

要約

大規模言語モデル (LLM) の最新の進歩は、自然言語処理 (NLP) の分野に革命をもたらしました。
NLP タスクにおける LLM の成功に触発されて、最近の研究ではグラフ学習タスクに LLM を適用する可能性を調査し始めています。
しかし、既存の研究のほとんどは、LLM を強力なノード機能拡張子として利用することに焦点を当てており、LLM を使用してグラフ トポロジ構造を強化することは十分に研究されていない問題のままです。
この研究では、LLM の情報検索機能とテキスト生成機能を活用して、ノード分類設定の下でテキスト属性グラフ (TAG) のトポロジ構造を改良/強化する方法を検討します。
まず、LLM を使用して信頼性の低いエッジを削除し、信頼できるエッジを TAG に追加することを提案します。
具体的には、まず LLM に繊細なプロンプト設計を通じてノード属性間の意味的類似性を出力させ、次にその類似性に基づいてエッジの削除とエッジの追加を実行します。
次に、LLM によって生成された擬似ラベルを使用してグラフ トポロジを改善することを提案します。つまり、グラフ ニューラル ネットワーク (GNN) が適切なエッジの重みを学習するように導くための正則化として擬似ラベルの伝播を導入します。
最後に、グラフ トポロジ改良のための前述の 2 つの LLM ベースの手法を GNN トレーニングのプロセスに組み込み、4 つの現実世界のデータセットに対して広範な実験を実行します。
実験結果は、LLM ベースのグラフ トポロジ改良の有効性を示しています (公開ベンチマークで 0.15% ～ 2.47% のパフォーマンス向上を達成)。

要約(オリジナル)

The latest advancements in large language models (LLMs) have revolutionized the field of natural language processing (NLP). Inspired by the success of LLMs in NLP tasks, some recent work has begun investigating the potential of applying LLMs in graph learning tasks. However, most of the existing work focuses on utilizing LLMs as powerful node feature augmenters, leaving employing LLMs to enhance graph topological structures an understudied problem. In this work, we explore how to leverage the information retrieval and text generation capabilities of LLMs to refine/enhance the topological structure of text-attributed graphs (TAGs) under the node classification setting. First, we propose using LLMs to help remove unreliable edges and add reliable ones in the TAG. Specifically, we first let the LLM output the semantic similarity between node attributes through delicate prompt designs, and then perform edge deletion and edge addition based on the similarity. Second, we propose using pseudo-labels generated by the LLM to improve graph topology, that is, we introduce the pseudo-label propagation as a regularization to guide the graph neural network (GNN) in learning proper edge weights. Finally, we incorporate the two aforementioned LLM-based methods for graph topological refinement into the process of GNN training, and perform extensive experiments on four real-world datasets. The experimental results demonstrate the effectiveness of LLM-based graph topology refinement (achieving a 0.15%–2.47% performance gain on public benchmarks).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google