Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs

要約

テキスト属性グラフ (TAG) は Web 上で普及しており、引用ネットワーク、電子商取引ネットワーク、ソーシャル ネットワークなどの TAG に関する研究は Web コミュニティでかなりの注目を集めています。
最近、大規模言語モデル (LLM) は、幅広いタスクにわたって優れた機能を実証しています。
しかし、既存の研究は、LLM にグラフ構造情報を伝えるためのプロンプトのみに依存して LLM の可能性を活用することに重点を置いているため、TAG 内の複雑な構造関係の理解が不十分であるという問題があります。
この問題に対処するために、この論文では、TAG に対する LLM の推論および予測能力を強化できる、解絡グラフテキスト学習器 (DGTL) モデルを紹介します。
私たちが提案する DGTL モデルには、カスタマイズされた非もつれグラフ ニューラル ネットワーク (GNN) 層を通じてグラフ構造情報が組み込まれており、LLM がテキスト属性のグラフに隠された複雑な関係を複数の構造要因からキャプチャできるようになります。
さらに、DGTL は凍結された事前トレーニング済み LLM で動作するため、計算コストが削減され、さまざまな LLM モデルとの組み合わせの柔軟性が大幅に高まります。
実験による評価では、提案された DGTL モデルが最先端のベースラインよりも優れた、または同等のパフォーマンスを達成する有効性を実証しています。
さらに、DGTL モデルが予測に対して自然言語による説明を提供できるため、モデルの解釈可能性が大幅に向上することも実証します。

要約(オリジナル)

Text-attributed graphs (TAGs) are prevalent on the web and research over TAGs such as citation networks, e-commerce networks and social networks has attracted considerable attention in the web community. Recently, large language models (LLMs) have demonstrated exceptional capabilities across a wide range of tasks. However, the existing works focus on harnessing the potential of LLMs solely relying on prompts to convey graph structure information to LLMs, thus suffering from insufficient understanding of the complex structural relationships within TAGs. To address this problem, in this paper we present the Disentangled Graph-Text Learner (DGTL) model, which is able to enhance the reasoning and predicting capabilities of LLMs for TAGs. Our proposed DGTL model incorporates graph structure information through tailored disentangled graph neural network (GNN) layers, enabling LLMs to capture the intricate relationships hidden in text-attributed graphs from multiple structural factors. Furthermore, DGTL operates with frozen pre-trained LLMs, reducing computational costs and allowing much more flexibility in combining with different LLM models. Experimental evaluations demonstrate the effectiveness of the proposed DGTL model on achieving superior or comparable performance over state-of-the-art baselines. Additionally, we also demonstrate that our DGTL model can offer natural language explanations for predictions, thereby significantly enhancing model interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google