Unifying Text Semantics and Graph Structures for Temporal Text-attributed Graphs with Large Language Models

要約

時間グラフニューラルネットワーク（TGNNS）は、時間グラフモデリングで顕著なパフォーマンスを示しています。
ただし、実際の一時的なグラフには豊富なテキスト情報が含まれていることが多く、一時的なテキストアトリブグラフ（TTAG）が生じます。
このような動的テキストセマンティクスと進化するグラフ構造の組み合わせにより、複雑さが高まります。
既存のTGNNSは、テキストを静的に埋め込み、構造情報に偏って優先順位を付けるエンコードメカニズムに大きく依存し、テキストセマンティクスの時間的進化と、相乗的強化のためのセマンティクスと構造との本質的な相互作用を見落としています。
これらの問題に取り組むために、TTAGモデリングのために既存のTGNNをシームレスに拡張する新しいフレームワークである\ textBf {{Cross}}を提示します。
重要なアイデアは、高度な大手言語モデル（LLMS）を使用してテキスト空間で動的なセマンティクスを抽出し、セマンティクスと構造の両方を統一する表現型表現を生成することです。
具体的には、{Cross}フレームワークに一時的なセマンティクス抽出器を提案します。これにより、LLMは、テキスト近隣のノードの進化するコンテキストの時間的セマンティックな理解を提供し、セマンティックダイナミクスを促進します。
その後、セマンティック構造の共同エンコーダーを紹介します。セマンティック構造の共同エンコーダーは、上記の抽出器と協力して、相互補強を奨励しながらセマンティック情報と構造情報の両方を共同で検討することにより、照明表現を合成するために協力します。
4つのパブリックデータセットと1つの実用的な産業データセットでの広範な実験結果は、{Cross}の重要な有効性と堅牢性を示しています。

要約(オリジナル)

Temporal graph neural networks (TGNNs) have shown remarkable performance in temporal graph modeling. However, real-world temporal graphs often possess rich textual information, giving rise to temporal text-attributed graphs (TTAGs). Such combination of dynamic text semantics and evolving graph structures introduces heightened complexity. Existing TGNNs embed texts statically and rely heavily on encoding mechanisms that biasedly prioritize structural information, overlooking the temporal evolution of text semantics and the essential interplay between semantics and structures for synergistic reinforcement. To tackle these issues, we present \textbf{{Cross}}, a novel framework that seamlessly extends existing TGNNs for TTAG modeling. The key idea is to employ the advanced large language models (LLMs) to extract the dynamic semantics in text space and then generate expressive representations unifying both semantics and structures. Specifically, we propose a Temporal Semantics Extractor in the {Cross} framework, which empowers the LLM to offer the temporal semantic understanding of node’s evolving contexts of textual neighborhoods, facilitating semantic dynamics. Subsequently, we introduce the Semantic-structural Co-encoder, which collaborates with the above Extractor for synthesizing illuminating representations by jointly considering both semantic and structural information while encouraging their mutual reinforcement. Extensive experimental results on four public datasets and one practical industrial dataset demonstrate {Cross}’s significant effectiveness and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google