Let’s Ask GNN: Empowering Large Language Model for Graph In-Context Learning

要約

テキスト属性グラフ (TAG) は、複雑な現実世界のシステムをモデル化するために不可欠ですが、TAG に大規模言語モデル (LLM) を活用すると、逐次的なテキスト処理とグラフ構造化されたデータの間のギャップにより、独特の課題が生じます。
インコンテキスト学習 (ICL) を活用してグラフ データとタスク固有の情報を LLM に統合することで、このギャップを埋める新しいアプローチである AskGNN を紹介します。
AskGNN は、グラフ ニューラル ネットワーク (GNN) を利用した構造強化型取得機能を採用して、複雑なグラフ構造とその監視信号を組み込んで、グラフ全体でラベル付きノードを選択します。
私たちの取得学習アルゴリズムは、グラフ上の LLM パフォーマンスを最大化するサンプル ノードを選択するように取得者を最適化します。
3 つのタスクと 7 つの LLM にわたる実験では、グラフ タスクのパフォーマンスにおける AskGNN の優れた有効性が実証され、大規模な微調整を行わずに LLM をグラフ構造データに適用するための新しい道が開かれます。

要約(オリジナル)

Textual Attributed Graphs (TAGs) are crucial for modeling complex real-world systems, yet leveraging large language models (LLMs) for TAGs presents unique challenges due to the gap between sequential text processing and graph-structured data. We introduce AskGNN, a novel approach that bridges this gap by leveraging In-Context Learning (ICL) to integrate graph data and task-specific information into LLMs. AskGNN employs a Graph Neural Network (GNN)-powered structure-enhanced retriever to select labeled nodes across graphs, incorporating complex graph structures and their supervision signals. Our learning-to-retrieve algorithm optimizes the retriever to select example nodes that maximize LLM performance on graph. Experiments across three tasks and seven LLMs demonstrate AskGNN’s superior effectiveness in graph task performance, opening new avenues for applying LLMs to graph-structured data without extensive fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google