SGL-PT: A Strong Graph Learner with Graph Prompt Tuning

要約

最近、グラフの自己教師ありメソッドを設計して、一般化された事前トレーニング済みモデルを取得し、微調整を通じて事前トレーニング済みモデルを下流のタスクに適応させるために多くの努力が払われてきました。
ただし、口実と下流のグラフ タスクの間には固有のギャップが存在し、事前にトレーニングされたモデルの能力を十分に発揮せず、負の転送につながることさえあります。
一方、迅速なチューニングは、事前トレーニングと微調整を一貫したトレーニング目標に合わせることで、自然言語処理で新たな成功を収めています。
このホワイト ペーパーでは、グラフ プロンプト チューニングの課題を特定します。1 つ目は、グラフ ドメインのさまざまな事前トレーニング方法にまたがる、強力で普遍的な事前トレーニング タスクの欠如です。
2 番目の課題は、事前トレーニングと下流のタスクの両方に対して一貫したトレーニング目標を設計することの難しさにあります。
上記の障害を克服するために、「事前訓練、プロンプト、および予測」という学習戦略に従う SGL-PT という名前の新しいフレームワークを提案します。
具体的には、生成的および対照的な自己教師付きグラフ学習の補完的なメリットを取得する、SGL と呼ばれる強力で普遍的な事前トレーニング タスクを提起します。
そして、グラフ分類タスクを目指して、口実タスクと同様の形式で下流タスクを再定式化する、新しいバーバライザーのないプロンプト機能を設計することにより、事前トレーニングと微調整を統合します。
経験的結果は、私たちの方法が教師なし設定の下で他のベースラインを上回っていることを示しており、私たちの迅速な調整方法は、微調整方法よりも生物学的データセットのモデルを大幅に促進できます。

要約(オリジナル)

Recently, much exertion has been paid to design graph self-supervised methods to obtain generalized pre-trained models, and adapt pre-trained models onto downstream tasks through fine-tuning. However, there exists an inherent gap between pretext and downstream graph tasks, which insufficiently exerts the ability of pre-trained models and even leads to negative transfer. Meanwhile, prompt tuning has seen emerging success in natural language processing by aligning pre-training and fine-tuning with consistent training objectives. In this paper, we identify the challenges for graph prompt tuning: The first is the lack of a strong and universal pre-training task across sundry pre-training methods in graph domain. The second challenge lies in the difficulty of designing a consistent training objective for both pre-training and downstream tasks. To overcome above obstacles, we propose a novel framework named SGL-PT which follows the learning strategy “Pre-train, Prompt, and Predict”. Specifically, we raise a strong and universal pre-training task coined as SGL that acquires the complementary merits of generative and contrastive self-supervised graph learning. And aiming for graph classification task, we unify pre-training and fine-tuning by designing a novel verbalizer-free prompting function, which reformulates the downstream task in a similar format as pretext task. Empirical results show that our method surpasses other baselines under unsupervised setting, and our prompt tuning method can greatly facilitate models on biological datasets over fine-tuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google