Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs

要約

グラフでの学習は、現実世界に広く応用できるため、非常に注目を集めています。
テキストのノード属性を持つグラフを学習するための最も一般的なパイプラインは、主にグラフ ニューラル ネットワーク (GNN) に依存し、初期ノード表現として浅いテキストの埋め込みを利用しますが、これには一般知識と深い意味の理解に制限があります。
近年、大規模言語モデル (LLM) は、テキスト データを処理する既存のワークフローに革命をもたらした広範な共通知識と強力な意味理解能力を備えていることが証明されています。
このペーパーでは、グラフ機械学習、特にノード分類タスクにおける LLM の可能性を探り、2 つの可能なパイプライン、エンハンサーとしての LLM と予測子としての LLM を調査することを目的としています。
前者は LLM を活用して、膨大な知識でノードのテキスト属性を強化し、GNN を通じて予測を生成します。
後者は、LLM をスタンドアロンの予測子として直接使用しようとします。
私たちは、これら 2 つのパイプラインについて、さまざまな環境下で総合的かつ体系的な研究を行っています。
包括的な実証結果から、独自の観察を行い、新しい可能性を開く新しい洞察を見つけ、グラフでの学習に LLM を活用するための有望な方向性を提案します。

要約(オリジナル)

Learning on Graphs has attracted immense attention due to its wide real-world applications. The most popular pipeline for learning on graphs with textual node attributes primarily relies on Graph Neural Networks (GNNs), and utilizes shallow text embedding as initial node representations, which has limitations in general knowledge and profound semantic understanding. In recent years, Large Language Models (LLMs) have been proven to possess extensive common knowledge and powerful semantic comprehension abilities that have revolutionized existing workflows to handle text data. In this paper, we aim to explore the potential of LLMs in graph machine learning, especially the node classification task, and investigate two possible pipelines: LLMs-as-Enhancers and LLMs-as-Predictors. The former leverages LLMs to enhance nodes’ text attributes with their massive knowledge and then generate predictions through GNNs. The latter attempts to directly employ LLMs as standalone predictors. We conduct comprehensive and systematical studies on these two pipelines under various settings. From comprehensive empirical results, we make original observations and find new insights that open new possibilities and suggest promising directions to leverage LLMs for learning on graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google