HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning

要約

グラフ ニューラル ネットワーク (GNN) と異種グラフ ニューラル ネットワーク (HGNN) は、同種および異種のグラフ表現学習のための優れた技術ですが、エンドツーエンドの教師ありフレームワークでのパフォーマンスは、タスク固有の監視が利用できるかどうかに大きく依存します。
ラベル付けのコストを削減するために、自己教師ありの口実タスクでの事前トレーニングが一般的なパラダイムとなっていますが、事前トレーニングされたモデルと下流のタスクの間には、目的の相違から生じるギャップが存在することがよくあります。
このギャップを埋めるために、事前トレーニングされたモデルを完全に微調整する必要がなく、特にショット数が少ない設定において、即時学習が有望な方向性として浮上しています。
グラフに関するプロンプトベースの学習の初期の研究はいくつかありましたが、それらは主に同種のグラフを扱い、下流のアプリケーションで普及している異種グラフは無視されています。
この論文では、デュアル テンプレート設計を介して、事前トレーニングと下流タスクだけでなく、同種グラフと異種グラフも統合する新しい事前トレーニングおよびプロンプト フレームワークである HGPROMPT を提案します。
さらに、機能の違いだけでなく、タスク間の異質性の違いによって生じるギャップを埋める前に、下流のタスクが最も関連性の高いタスクを見つけるのを支援するために、HGPROMPT のデュアル プロンプトを提案します。
最後に、3 つの公開データセットに対する広範な実験を通じて、HGPROMPT を徹底的に評価および分析します。

要約(オリジナル)

Graph neural networks (GNNs) and heterogeneous graph neural networks (HGNNs) are prominent techniques for homogeneous and heterogeneous graph representation learning, yet their performance in an end-to-end supervised framework greatly depends on the availability of task-specific supervision. To reduce the labeling cost, pre-training on self-supervised pretext tasks has become a popular paradigm,but there is often a gap between the pre-trained model and downstream tasks, stemming from the divergence in their objectives. To bridge the gap, prompt learning has risen as a promising direction especially in few-shot settings, without the need to fully fine-tune the pre-trained model. While there has been some early exploration of prompt-based learning on graphs, they primarily deal with homogeneous graphs, ignoring the heterogeneous graphs that are prevalent in downstream applications. In this paper, we propose HGPROMPT, a novel pre-training and prompting framework to unify not only pre-training and downstream tasks but also homogeneous and heterogeneous graphs via a dual-template design. Moreover, we propose dual-prompt in HGPROMPT to assist a downstream task in locating the most relevant prior to bridge the gaps caused by not only feature variations but also heterogeneity differences across tasks. Finally, we thoroughly evaluate and analyze HGPROMPT through extensive experiments on three public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google