CPDG: A Contrastive Pre-Training Method for Dynamic Graph Neural Networks

要約

動的グラフ データ マイニングは、動的グラフに含まれる豊富な情報と現実世界で広く使用されているため、近年人気が高まっています。
ダイナミック グラフ ニューラル ネットワーク (DGNN) の進歩にもかかわらず、豊富な情報と多様な下流タスクにより、産業シナリオでの DGNN の実用化には大きな困難が生じています。
この目的を達成するために、この論文では、事前トレーニングによってそれらに対処することを提案し、ダイナミック グラフ ニューラル ネットワーク (CPDG) の対照的事前トレーニング方法を提示します。
CPDG は、柔軟な構造時間サブグラフ サンプラーと構造時間対比事前トレーニング スキームを通じて、一般化機能や長期短期モデリング機能などの DGNN の事前トレーニングの課題に取り組みます。
大規模な研究データセットと産業用ダイナミック グラフ データセットの両方で行われた広範な実験により、CPDG が 3 つの転送設定の下でのさまざまな下流タスクのダイナミック グラフ事前トレーニングにおいて既存の方法よりも優れていることが示されています。

要約(オリジナル)

Dynamic graph data mining has gained popularity in recent years due to the rich information contained in dynamic graphs and their widespread use in the real world. Despite the advances in dynamic graph neural networks (DGNNs), the rich information and diverse downstream tasks have posed significant difficulties for the practical application of DGNNs in industrial scenarios. To this end, in this paper, we propose to address them by pre-training and present the Contrastive Pre-Training Method for Dynamic Graph Neural Networks (CPDG). CPDG tackles the challenges of pre-training for DGNNs, including generalization capability and long-short term modeling capability, through a flexible structural-temporal subgraph sampler along with structural-temporal contrastive pre-training schemes. Extensive experiments conducted on both large-scale research and industrial dynamic graph datasets show that CPDG outperforms existing methods in dynamic graph pre-training for various downstream tasks under three transfer settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google