Non-Homophilic Graph Pre-Training and Prompt Learning

要約

グラフは、さまざまな分野にわたるオブジェクト間の複雑な関係をモデル化するために広く普及しています。
グラフ ニューラル ネットワーク (GNN) はグラフベースのアプリケーションの主流の技術となっていますが、そのパフォーマンスは豊富なラベル付きデータに大きく依存しています。
ラベル付けの要件を減らすために、事前トレーニングと迅速な学習が一般的な代替手段となっています。
ただし、既存のプロンプト手法のほとんどは、現実世界のグラフの同好性特性と異好性特性を区別しません。
特に、現実世界のグラフの多くは非同種親和的であり、同種親和パターンと異種親和パターンが混在していて厳密または均一に同種親和的ではなく、グラフやノード全体でさまざまな非同種親和特性を示します。
この論文では、そのような非同種グラフのための新しい事前トレーニングおよび即時学習フレームワークである ProNoG を提案します。
まず、既存のグラフ事前トレーニング手法を分析し、事前トレーニング タスクの選択に関する理論的な洞察を提供します。
第 2 に、各ノードが独自の非同種性特性を示すことを認識し、下流のタスクにおけるノード固有のパターンを特徴付ける条件付きネットワークを提案します。
最後に、10 個の公開データセットに対する広範な実験を通じて、ProNoG を徹底的に評価および分析します。

要約(オリジナル)

Graphs are ubiquitous for modeling complex relationships between objects across various fields. Graph neural networks (GNNs) have become a mainstream technique for graph-based applications, but their performance heavily relies on abundant labeled data. To reduce labeling requirement, pre-training and prompt learning has become a popular alternative. However, most existing prompt methods do not differentiate homophilic and heterophilic characteristics of real-world graphs. In particular, many real-world graphs are non-homophilic, not strictly or uniformly homophilic with mixing homophilic and heterophilic patterns, exhibiting varying non-homophilic characteristics across graphs and nodes. In this paper, we propose ProNoG, a novel pre-training and prompt learning framework for such non-homophilic graphs. First, we analyze existing graph pre-training methods, providing theoretical insights into the choice of pre-training tasks. Second, recognizing that each node exhibits unique non-homophilic characteristics, we propose a conditional network to characterize the node-specific patterns in downstream tasks. Finally, we thoroughly evaluate and analyze ProNoG through extensive experiments on ten public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google