Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models

要約

グラフは、ソーシャル ネットワーク分析、バイオインフォマティクス、ナレッジ グラフなど、現実世界に広く普及しています。
グラフ ニューラル ネットワーク (GNN) は、グラフの基本的なタスクであるノード分類において優れた機能を備えています。
残念ながら、実際のアプリケーションでは少数ショットのノード分類タスクが普及しているにもかかわらず、従来の GNN は、ラベル付きノードがほとんどないシナリオでは依然として課題に直面しています。
この課題に対処するために、グラフ メタ学習、転移学習、大規模言語モデル (LLM) に基づく方法など、さまざまなアプローチが提案されています。
ただし、従来のメタ学習および転移学習方法では、多くの場合、基本クラスからの事前知識が必要であったり、ラベルなしノードの潜在的な利点を活用できなかったりします。
一方、LLM ベースの方法は、LLM のゼロショット機能を見落とし、生成されたコンテキストの品質に大きく依存する可能性があります。
この論文では、LLM と GNN を統合し、LLM のゼロショット推論および推論機能を活用し、Graph-LLM ベースのアクティブ ラーニング パラダイムを採用して GNN のパフォーマンスを向上させる新しいアプローチを提案します。
広範な実験により、大幅に限定されたラベル付きデータでノード分類の精度を向上させるモデルの有効性が実証され、最先端のベースラインを大幅に上回りました。

要約(オリジナル)

Graphs are pervasive in the real-world, such as social network analysis, bioinformatics, and knowledge graphs. Graph neural networks (GNNs) have great ability in node classification, a fundamental task on graphs. Unfortunately, conventional GNNs still face challenges in scenarios with few labeled nodes, despite the prevalence of few-shot node classification tasks in real-world applications. To address this challenge, various approaches have been proposed, including graph meta-learning, transfer learning, and methods based on Large Language Models (LLMs). However, traditional meta-learning and transfer learning methods often require prior knowledge from base classes or fail to exploit the potential advantages of unlabeled nodes. Meanwhile, LLM-based methods may overlook the zero-shot capabilities of LLMs and rely heavily on the quality of generated contexts. In this paper, we propose a novel approach that integrates LLMs and GNNs, leveraging the zero-shot inference and reasoning capabilities of LLMs and employing a Graph-LLM-based active learning paradigm to enhance GNNs’ performance. Extensive experiments demonstrate the effectiveness of our model in improving node classification accuracy with considerably limited labeled data, surpassing state-of-the-art baselines by significant margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google