DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs

要約

動的テキスト属性グラフ (DyTAG) は、現実世界のさまざまなシナリオで普及しており、各ノードとエッジがテキストの説明に関連付けられており、グラフ構造とテキストの説明の両方が時間の経過とともに進化します。
DyTAG の幅広い応用性にもかかわらず、DyTAG に合わせて調整されたベンチマーク データセットが著しく不足しており、多くの研究分野での潜在的な進歩が妨げられています。
このギャップに対処するために、Dynamic Text-attributed Graph Benchmark (DTGB) を導入します。これは、テキスト属性とカテゴリを動的に変更することによって強化されたノードとエッジを備えた、さまざまなドメインからの大規模な時間発展グラフのコレクションです。
DTGB の使用を容易にするために、将来のリンク予測、宛先ノードの取得、エッジ分類、およびテキスト関係の生成という 4 つの実際の使用例に基づいて標準化された評価手順を設計します。
これらのタスクでは、モデルが動的グラフ構造と自然言語の両方を理解する必要があり、DyTAG によってもたらされる独特の課題が浮き彫りになっています。
さらに、DTGB に関する広範なベンチマーク実験を実施し、7 つの一般的な動的グラフ学習アルゴリズムと、LLM 埋め込みを使用してテキスト属性に適応するそのバリアント、および 6 つの強力なラージ言語モデル (LLM) を評価しました。
私たちの結果は、DyTAG の処理における既存のモデルの限界を示しています。
私たちの分析は、構造的およびテキストのダイナミクスの組み込みを調査する際の DTGB の有用性も示しています。
提案された DTGB は、DyTAG とその幅広い応用に関する研究を促進します。
動的グラフ構造と自然言語の間の相互作用を処理するモデルを評価および発展させるための包括的なベンチマークを提供します。
データセットとソース コードは https://github.com/zjs123/DTGB で入手できます。

要約(オリジナル)

Dynamic text-attributed graphs (DyTAGs) are prevalent in various real-world scenarios, where each node and edge are associated with text descriptions, and both the graph structure and text descriptions evolve over time. Despite their broad applicability, there is a notable scarcity of benchmark datasets tailored to DyTAGs, which hinders the potential advancement in many research fields. To address this gap, we introduce Dynamic Text-attributed Graph Benchmark (DTGB), a collection of large-scale, time-evolving graphs from diverse domains, with nodes and edges enriched by dynamically changing text attributes and categories. To facilitate the use of DTGB, we design standardized evaluation procedures based on four real-world use cases: future link prediction, destination node retrieval, edge classification, and textual relation generation. These tasks require models to understand both dynamic graph structures and natural language, highlighting the unique challenges posed by DyTAGs. Moreover, we conduct extensive benchmark experiments on DTGB, evaluating 7 popular dynamic graph learning algorithms and their variants of adapting to text attributes with LLM embeddings, along with 6 powerful large language models (LLMs). Our results show the limitations of existing models in handling DyTAGs. Our analysis also demonstrates the utility of DTGB in investigating the incorporation of structural and textual dynamics. The proposed DTGB fosters research on DyTAGs and their broad applications. It offers a comprehensive benchmark for evaluating and advancing models to handle the interplay between dynamic graph structures and natural language. The dataset and source code are available at https://github.com/zjs123/DTGB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google