When to Pre-Train Graph Neural Networks? An Answer from Data Generation Perspective!

要約

タイトル：グラフ・ニューラル・ネットワークを事前学習するタイミングはいつがベストか？データ生成の観点から見た回答！

要約：

・グラフ・ニューラル・ネットワークを事前学習することで、未ラベルのグラフデータから転移可能な知識を学び、下流のパフォーマンスを向上させることを目的とする研究が注目されている。

・現存する学習と微調整の戦略を設計して、事前学習と微調整のパラダイムである場合でも、特定の利点を得ることができないケースがある。

・この論文では、事前学習するタイミングがいつがベストか（どの状況でグラフ・ニューラル・ネットワークを事前学習すると利点があるか）という重要な質問に答える汎用的なフレームワークW2PGNNを紹介している。

・複雑な生成機構を調査することから、事前学習データから下流データまでの関係を探り、プレートレーニングの利点を説明することができる。

・W2PGNNは、グラフ・ニューラル・ネットワークの適用範囲を提供し、事前学習の実行可能性を定量化し、下流のパフォーマンスを向上させるために事前学習データを選択するのに役立つ3つの広範な応用を提供する。第1のアプリケーションに対しては理論的に正確な解決策を提供し、後者2つのアプリケーションについては多数の実証的な証明を行っている。

要約(オリジナル)

Recently, graph pre-training has attracted wide research attention, which aims to learn transferable knowledge from unlabeled graph data so as to improve downstream performance. Despite these recent attempts, the negative transfer is a major issue when applying graph pre-trained models to downstream tasks. Existing works made great efforts on the issue of what to pre-train and how to pre-train by designing a number of graph pre-training and fine-tuning strategies. However, there are indeed cases where no matter how advanced the strategy is, the ‘pre-train and fine-tune’ paradigm still cannot achieve clear benefits. This paper introduces a generic framework W2PGNN to answer the crucial question of when to pre-train (i.e., in what situations could we take advantage of graph pre-training) before performing effortful pre-training or fine-tuning. We start from a new perspective to explore the complex generative mechanisms from the pre-training data to downstream data. In particular, W2PGNN first fits the pre-training data into graphon bases, each element of graphon basis (i.e., a graphon) identifies a fundamental transferable pattern shared by a collection of pre-training graphs. All convex combinations of graphon bases give rise to a generator space, from which graphs generated form the solution space for those downstream data that can benefit from pre-training. In this manner, the feasibility of pre-training can be quantified as the generation probability of the downstream data from any generator in the generator space. W2PGNN provides three broad applications, including providing the application scope of graph pre-trained models, quantifying the feasibility of performing pre-training, and helping select pre-training data to enhance downstream performance. We give a theoretically sound solution for the first application and extensive empirical justifications for the latter two applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI