MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs

要約

グラフは本質的に Web 上で相互接続されたオブジェクトをモデル化できるため、Web 分析やコンテンツ推奨などの一連の Web アプリケーションが容易になります。
最近、グラフ ニューラル ネットワーク (GNN) がグラフ表現学習の主流の技術として台頭してきました。
ただし、エンドツーエンドの監視されたフレームワーク内でのそれらの有効性は、タスク固有のラベルの可用性に大きく関係しています。
ラベル付けのコストを軽減し、少数ショット設定での堅牢性を高めるために、自己教師ありタスクでの事前トレーニングが有望な方法として浮上している一方、口実タスクと下流タスクの間の客観的なギャップをさらに狭めるためにプロンプ​​トを使用することが提案されています。
グラフでのプロンプトベースの学習については初期の調査がいくつかありましたが、主に単一の口実タスクを利用するため、事前トレーニング データから学習できる一般知識のサブセットが限られています。
したがって、この論文では、より包括的な事前トレーニングされた知識を得るために複数の口実タスクを活用するための新しいマルチタスク事前トレーニングおよびプロンプトフレームワークである MultiGPrompt を提案します。
まず、事前トレーニングでは、複数の口実タスクを相乗させるための口実トークンのセットを設計します。
2 番目に、タスク固有のグローバルな事前トレーニング知識を活用して、少数ショット設定で下流のタスクをガイドする、構成されたプロンプトとオープン プロンプトで構成されるデュアル プロンプト メカニズムを提案します。
最後に、MultiGPrompt を評価および分析するために、6 つの公開データセットに対して広範な実験を実施します。

要約(オリジナル)

Graphs can inherently model interconnected objects on the Web, thereby facilitating a series of Web applications, such as web analyzing and content recommendation. Recently, Graph Neural Networks (GNNs) have emerged as a mainstream technique for graph representation learning. However, their efficacy within an end-to-end supervised framework is significantly tied to the availabilityof task-specific labels. To mitigate labeling costs and enhance robustness in few-shot settings, pre-training on self-supervised tasks has emerged as a promising method, while prompting has been proposed to further narrow the objective gap between pretext and downstream tasks. Although there has been some initial exploration of prompt-based learning on graphs, they primarily leverage a single pretext task, resulting in a limited subset of general knowledge that could be learned from the pre-training data. Hence, in this paper, we propose MultiGPrompt, a novel multi-task pre-training and prompting framework to exploit multiple pretext tasks for more comprehensive pre-trained knowledge. First, in pre-training, we design a set of pretext tokens to synergize multiple pretext tasks. Second, we propose a dual-prompt mechanism consisting of composed and open prompts to leverage task-specific and global pre-training knowledge, to guide downstream tasks in few-shot settings. Finally, we conduct extensive experiments on six public datasets to evaluate and analyze MultiGPrompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google