Let’s Ask GNN: Empowering Large Language Model for Graph In-Context Learning

要約

テキスト属性グラフ（タ​​グ）は、複雑な実世界システムをモデル化するために重要ですが、タグの大規模な言語モデル（LLM）を活用することは、シーケンシャルテキスト処理とグラフ構造データのギャップにより、独自の課題を提示します。
AskGnnを紹介します。これは、グラフデータとタスク固有の情報をLLMSに統合するために、コンテキスト内学習（ICL）を活用することにより、このギャップを埋める新しいアプローチです。
AskGnnは、グラフニューラルネットワーク（GNN）搭載の構造強化レトリバーを採用して、グラフ全体にラベル付けされたノードを選択し、複雑なグラフ構造とその監督信号を組み込みます。
再受信学習アルゴリズムは、レトリバーを最適化して、グラフのLLMパフォーマンスを最大化するノードのサンプルを選択します。
3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおけるAskGnnの優れた効果を示しており、大規模な微調整なしにLLMSをグラフ構造データに適用するための新しい道を開きます。

要約(オリジナル)

Textual Attributed Graphs (TAGs) are crucial for modeling complex real-world systems, yet leveraging large language models (LLMs) for TAGs presents unique challenges due to the gap between sequential text processing and graph-structured data. We introduce AskGNN, a novel approach that bridges this gap by leveraging In-Context Learning (ICL) to integrate graph data and task-specific information into LLMs. AskGNN employs a Graph Neural Network (GNN)-powered structure-enhanced retriever to select labeled nodes across graphs, incorporating complex graph structures and their supervision signals. Our learning-to-retrieve algorithm optimizes the retriever to select example nodes that maximize LLM performance on graph. Experiments across three tasks and seven LLMs demonstrate AskGNN’s superior effectiveness in graph task performance, opening new avenues for applying LLMs to graph-structured data without extensive fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google