Exploring the Potential of Large Language Models for Heterophilic Graphs

要約

大規模言語モデル (LLM) は、グラフ ニューラル ネットワーク (GNN) を含むさまざまな機械学習アプリケーションを強化する重要な機会を提供します。
LLM 内の膨大なオープンワールドの知識を活用することで、テキスト データをより効果的に解釈して利用して、隣接するノードに異なるラベルが付いていることが多い異好性グラフの特徴をより適切に特徴付けることができます。
ただし、異好性グラフに対する既存のアプローチでは、ノードに関連付けられた豊富なテキスト データが見落とされており、異好性のコンテキストに対するより深い洞察が得られる可能性があります。
この研究では、異好性グラフをモデル化するための LLM の可能性を調査し、LLM 強化エッジ弁別器と LLM ガイド付きエッジ再重み付けという新しい 2 段階のフレームワークを提案します。
最初の段階では、LLM を微調整して、ノードのテキスト内容に基づいて同親和性エッジと異親和性エッジをより適切に識別します。
第 2 段階では、ノードの特徴、構造、異好性または同種性の特性に基づいて、さまざまなエッジ タイプの GNN でのメッセージ伝播を適応的に管理します。
実際のシナリオで LLM を展開する際の計算需要に対処するために、競争力のあるパフォーマンスを維持する、より小型で効率的なモデルを微調整するためのモデル抽出手法をさらに検討します。
広範な実験によりフレームワークの有効性が検証され、LLM を使用して異好性グラフ上のノード分類を強化する実現可能性が実証されました。

要約(オリジナル)

Large language models (LLMs) have presented significant opportunities to enhance various machine learning applications, including graph neural networks (GNNs). By leveraging the vast open-world knowledge within LLMs, we can more effectively interpret and utilize textual data to better characterize heterophilic graphs, where neighboring nodes often have different labels. However, existing approaches for heterophilic graphs overlook the rich textual data associated with nodes, which could unlock deeper insights into their heterophilic contexts. In this work, we explore the potential of LLMs for modeling heterophilic graphs and propose a novel two-stage framework: LLM-enhanced edge discriminator and LLM-guided edge reweighting. In the first stage, we fine-tune the LLM to better identify homophilic and heterophilic edges based on the textual content of their nodes. In the second stage, we adaptively manage message propagation in GNNs for different edge types based on node features, structures, and heterophilic or homophilic characteristics. To cope with the computational demands when deploying LLMs in practical scenarios, we further explore model distillation techniques to fine-tune smaller, more efficient models that maintain competitive performance. Extensive experiments validate the effectiveness of our framework, demonstrating the feasibility of using LLMs to enhance node classification on heterophilic graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google