Towards Generalised Pre-Training of Graph Models

要約

教師なし表現学習の主な利点は、データやラベルが不足している場合でも、事前トレーニングされたモデルを微調整できることです。
グラフ表現学習の既存のアプローチはドメイン固有であり、事前トレーニング データセットとターゲット データセット全体で一貫したノードとエッジの特徴を維持します。
これにより、複数のドメインへの転送ができなくなりました。
この研究では、ノードとエッジの特徴の除外に基づくグラフの事前トレーニング方法であるトポロジのみの事前トレーニングを紹介します。
グラフ学習をトポロジと機能の 2 つの段階に分け、対照学習を使用して複数のドメインにわたってモデルを事前トレーニングします。
これらのモデルは、トレーニング前データに存在しないドメインを含む、複数のドメインからの評価データセットでポジティブな転送を示しています。
実験の 75% で、ToP モデルは教師付きベースラインよりも大幅に ($P \leq 0.01$) 優れたパフォーマンスを示しました。
これらの結果には、ノードおよびエッジ機能が評価に使用された場合が含まれており、単一ドメインまたは事前トレーニングされていないモデルと比較して、タスクの 85.7% でパフォーマンスが大幅に向上しています。
さらに、ドメイン外トポロジの方がドメイン内よりも有用な事前トレーニングを生成できることを示します。
分子ベンチマークの 79% において、分子の事前トレーニングと比較して、非分子の事前トレーニングからの移行が良好であることが示されています。

要約(オリジナル)

The principal benefit of unsupervised representation learning is that a pre-trained model can be fine-tuned where data or labels are scarce. Existing approaches for graph representation learning are domain specific, maintaining consistent node and edge features across the pre-training and target datasets. This has precluded transfer to multiple domains. In this work we present Topology Only Pre-Training, a graph pre-training method based on node and edge feature exclusion. Separating graph learning into two stages, topology and features, we use contrastive learning to pre-train models over multiple domains. These models show positive transfer on evaluation datasets from multiple domains, including domains not present in pre-training data. On 75% of experiments, ToP models perform significantly ($P \leq 0.01$) better than a supervised baseline. These results include when node and edge features are used in evaluation, where performance is significantly better on 85.7% of tasks compared to single-domain or non-pre-trained models. We further show that out-of-domain topologies can produce more useful pre-training than in-domain. We show better transfer from non-molecule pre-training, compared to molecule pre-training, on 79% of molecular benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google