Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

要約

テキスト属性のグラフは、Web ドメインで幅広い用途に使用できるため、最近大きな注目を集めています。
既存の方法論では、テキスト表現をノード特徴として取得するために単語埋め込みモデルを採用しており、その後、それがトレーニングのためにグラフ ニューラル ネットワーク (GNN) に供給されます。
最近、ラージ言語モデル (LLM) の出現により、情報検索とテキスト生成における強力な機能が導入され、グラフ データのテキスト属性を大幅に強化できます。
さらに、広範なデータセットの取得とラベル付けは、費用も時間もかかる作業です。
その結果、グラフ学習タスクのコンテキストにおいて、少数ショット学習が重大な問題として浮上しています。
この課題に取り組むために、私たちは LLM4NG と呼ばれる軽量パラダイムを提案します。これは、プラグアンドプレイ アプローチを採用し、LLM を使用したノード生成を通じてテキスト属性のグラフを強化します。
具体的には、LLM を利用してラベルから意味情報を抽出し、これらのカテゴリに属する​​サンプルをサンプルとして生成します。
続いて、エッジ予測子を使用して生のデータセットに固有の構造情報を取得し、新しく生成されたサンプルを元のグラフに統合します。
このアプローチでは、LLM を利用してクラスレベルの情報を強化し、生のデータセットを変更することなくラベル付きのノードとエッジをシームレスに導入します。これにより、数ショットのシナリオでのノード分類タスクが容易になります。
広範な実験により、特にローショットシナリオにおいて、私たちが提案するパラダイムの優れたパフォーマンスが実証されました。
たとえば、ogbn-arxiv データセットの 1 ショット設定では、LLM4NG はベースライン モデルと比較して 76% の改善を達成します。

要約(オリジナル)

Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google