GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

要約

グラフは、オブジェクト間の複雑な関係をモデル化し、オンライン ページ/記事の分類やソーシャル レコメンデーションなどの無数の Web アプリケーションを可能にします。
グラフ ニューラル ネットワーク (GNN) は、グラフ表現学習のための強力なツールとして登場しましたが、エンドツーエンドの教師あり設定では、そのパフォーマンスは大量のタスク固有の教師に大きく依存しています。
ラベル付けの要件を減らすために、「事前トレーニング、微調整」および「事前トレーニング、プロンプト」パラダイムがますます一般的になっています。
特に、プロンプティングは自然言語処理の微調整に代わる一般的な方法であり、タスク固有の方法で事前トレーニングと下流の目標の間のギャップを狭めるように設計されています。
ただし、グラフのプロンプトに関する既存の研究はまだ限られており、さまざまなダウンストリーム タスクにアピールするための普遍的な処理が欠けています。
この論文では、グラフの新しい事前トレーニングおよびプロンプト フレームワークである GraphPrompt を提案します。
GraphPrompt は、事前トレーニング タスクとダウンストリーム タスクを共通のタスク テンプレートに統合するだけでなく、学習可能なプロンプトを使用して、ダウンストリーム タスクがタスク固有の方法で事前トレーニング モデルから最も関連性の高い知識を見つけるのを支援します。
最後に、GraphPrompt を評価および分析するために、5 つの公開データセットに対して広範な実験を行います。

要約(オリジナル)

Graphs can model complex relationships between objects, enabling a myriad of Web applications such as online page/article classification and social recommendation. While graph neural networks(GNNs) have emerged as a powerful tool for graph representation learning, in an end-to-end supervised setting, their performance heavily rely on a large amount of task-specific supervision. To reduce labeling requirement, the ‘pre-train, fine-tune’ and ‘pre-train, prompt’ paradigms have become increasingly common. In particular, prompting is a popular alternative to fine-tuning in natural language processing, which is designed to narrow the gap between pre-training and downstream objectives in a task-specific manner. However, existing study of prompting on graphs is still limited, lacking a universal treatment to appeal to different downstream tasks. In this paper, we propose GraphPrompt, a novel pre-training and prompting framework on graphs. GraphPrompt not only unifies pre-training and downstream tasks into a common task template, but also employs a learnable prompt to assist a downstream task in locating the most relevant knowledge from the pre-train model in a task-specific manner. Finally, we conduct extensive experiments on five public datasets to evaluate and analyze GraphPrompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google