SGL-PT: A Strong Graph Learner with Graph Prompt Tuning

要約

最近、一般化された事前トレーニング済みモデルを取得し、微調整を通じて事前トレーニング済みモデルを下流のタスクに適応させるためのグラフ自己教師あり手法の設計に多大な努力が払われています。
ただし、口実と下流のグラフ タスクの間には固有のギャップが存在し、事前トレーニングされたモデルの能力が十分に発揮されず、マイナスの伝達につながることさえあります。
一方、一貫したトレーニング目標に合わせて事前トレーニングと微調整を調整することで、自然言語処理の迅速な調整が新たな成功を収めています。
このペーパーでは、グラフ プロンプト チューニングの課題を特定します。 1 つ目は、グラフ ドメインのさまざまな事前トレーニング方法にまたがる強力で普遍的な事前トレーニング タスクが欠如していることです。
2 番目の課題は、トレーニング前タスクと下流タスクの両方に対して一貫したトレーニング目標を設計することが難しいことです。
上記の障害を克服するために、我々は「Pre-train、Prompt、Predict」という学習戦略に従う SGL-PT という新しいフレームワークを提案します。
具体的には、生成的および対比的な自己教師ありグラフ学習の補完的な利点を獲得する、SGL として造られた強力で普遍的な事前トレーニング タスクを提起します。
また、グラフ分類タスクを目指して、言語化ツールを必要としない新しいプロンプト関数を設計することで、事前トレーニングと微調整を統合します。これは、下流タスクを口実タスクと同様の形式で再定式化します。
経験的結果は、私たちの方法が教師なし設定の下で他のベースラインを上回り、私たちの即時調整方法が微調整方法よりも生物学的データセットのモデルを大幅に容易にすることができることを示しています。

要約(オリジナル)

Recently, much exertion has been paid to design graph self-supervised methods to obtain generalized pre-trained models, and adapt pre-trained models onto downstream tasks through fine-tuning. However, there exists an inherent gap between pretext and downstream graph tasks, which insufficiently exerts the ability of pre-trained models and even leads to negative transfer. Meanwhile, prompt tuning has seen emerging success in natural language processing by aligning pre-training and fine-tuning with consistent training objectives. In this paper, we identify the challenges for graph prompt tuning: The first is the lack of a strong and universal pre-training task across sundry pre-training methods in graph domain. The second challenge lies in the difficulty of designing a consistent training objective for both pre-training and downstream tasks. To overcome above obstacles, we propose a novel framework named SGL-PT which follows the learning strategy “Pre-train, Prompt, and Predict”. Specifically, we raise a strong and universal pre-training task coined as SGL that acquires the complementary merits of generative and contrastive self-supervised graph learning. And aiming for graph classification task, we unify pre-training and fine-tuning by designing a novel verbalizer-free prompting function, which reformulates the downstream task in a similar format as pretext task. Empirical results show that our method surpasses other baselines under unsupervised setting, and our prompt tuning method can greatly facilitate models on biological datasets over fine-tuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google