When to Pre-Train Graph Neural Networks? From Data Generation Perspective!

要約

近年、グラフの事前トレーニングが大きな注目を集めており、ラベルのないグラフ データから転送可能な知識を取得してダウンストリームのパフォーマンスを向上させることに重点が置かれています。
これらの最近の取り組みにもかかわらず、グラフの事前トレーニング済みモデルを下流のタスクに利用する場合、負の転送の問題は依然として大きな懸念事項です。
以前の研究では、さまざまなグラフの事前トレーニングおよび微調整戦略を設計することにより、何を事前トレーニングするか、およびどのように事前トレーニングするかという問題に多大な努力が払われました。
ただし、最も先進的な「事前トレーニングと微調整」パラダイムでも明確な利点が得られない場合があります。
この論文では、手間のかかる事前トレーニングや微調整を実行する前に、いつ事前トレーニングを行うか (つまり、どのような状況でグラフ事前トレーニングを利用できるか) という重要な質問に答えるための汎用フレームワーク W2PGNN を紹介します。
私たちは新しい視点から出発して、トレーニング前データから下流データに至る複雑な生成メカニズムを調査します。
特に、W2PGNN はまず事前トレーニング データをグラフオン ベースに適合させます。グラフオン ベースの各要素 (つまり、グラフォン) は、事前トレーニング グラフのコレクションによって共有される基本的な転送可能なパターンを識別します。
グラフォンベースの凸状の組み合わせはすべてジェネレーター空間を生成し、そこから生成されたグラフは、事前トレーニングから恩恵を受けることができる下流データの解空間を形成します。
このようにして、事前トレーニングの実現可能性は、ジェネレーター空間内の任意のジェネレーターからの下流データの生成確率として定量化できます。
W2PGNN は 3 つの幅広いアプリケーションを提供します。グラフ事前トレーニング モデルの適用範囲の提供、事前トレーニングの実現可能性の定量化、およびダウンストリームのパフォーマンスを向上させるための事前トレーニング データの選択の支援です。
最初のアプリケーションについては理論的に適切なソリューションを提供し、後の 2 つのアプリケーションについては広範な経験的根拠を提供します。

要約(オリジナル)

In recent years, graph pre-training has gained significant attention, focusing on acquiring transferable knowledge from unlabeled graph data to improve downstream performance. Despite these recent endeavors, the problem of negative transfer remains a major concern when utilizing graph pre-trained models to downstream tasks. Previous studies made great efforts on the issue of what to pre-train and how to pre-train by designing a variety of graph pre-training and fine-tuning strategies. However, there are cases where even the most advanced ‘pre-train and fine-tune’ paradigms fail to yield distinct benefits. This paper introduces a generic framework W2PGNN to answer the crucial question of when to pre-train (i.e., in what situations could we take advantage of graph pre-training) before performing effortful pre-training or fine-tuning. We start from a new perspective to explore the complex generative mechanisms from the pre-training data to downstream data. In particular, W2PGNN first fits the pre-training data into graphon bases, each element of graphon basis (i.e., a graphon) identifies a fundamental transferable pattern shared by a collection of pre-training graphs. All convex combinations of graphon bases give rise to a generator space, from which graphs generated form the solution space for those downstream data that can benefit from pre-training. In this manner, the feasibility of pre-training can be quantified as the generation probability of the downstream data from any generator in the generator space. W2PGNN offers three broad applications: providing the application scope of graph pre-trained models, quantifying the feasibility of pre-training, and assistance in selecting pre-training data to enhance downstream performance. We provide a theoretically sound solution for the first application and extensive empirical justifications for the latter two applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google