HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks

要約

グラフは、Web の複雑なパターンや豊富な情報を表現および分析するための自然な選択肢として登場し、オンライン ページの分類やソーシャル レコメンデーションなどのアプリケーションを可能にします。
一般的な「事前トレーニング、微調整」パラダイムは、グラフ機械学習タスク、特にラベル付きノードが限られているシナリオで広く採用されています。
ただし、このアプローチでは、口実タスクのトレーニング目標と下流タスクのトレーニング目標の間に不整合が生じることがよくあります。
このギャップにより、事前トレーニングから得られた知識が下流のタスクのパフォーマンスに悪影響を与える「負の転送」問題が発生する可能性があります。
自然言語処理 (NLP) 内でのプロンプトベースの学習の急増は、代替手段として「事前トレーニング、プロンプト」パラダイムをグラフに適応させる可能性を示唆しています。
ただし、既存のグラフ プロンプト技術は均一なグラフに合わせて調整されており、Web グラフの固有の異質性は無視されています。
このギャップを埋めるために、事前トレーニングされた異種グラフ ニューラル ネットワーク (HGNN) の予測パフォーマンスを向上させる一般的なポストトレーニング プロンプト フレームワークである HetGPT を提案します。
鍵となるのは、仮想クラス プロンプトと異種機能プロンプトを統合する新しいプロンプト機能の設計であり、その目的は、口実タスクをミラーリングするために下流タスクを再定式化することです。
さらに、HetGPT はマルチビュー近傍集約メカニズムを導入し、異種グラフ内の複雑な近傍構造をキャプチャします。
3 つのベンチマーク データセットに対する広範な実験により、半教師ありノード分類における最先端の HGNN のパフォーマンスを向上させる HetGPT の機能が実証されました。

要約(オリジナル)

Graphs have emerged as a natural choice to represent and analyze the intricate patterns and rich information of the Web, enabling applications such as online page classification and social recommendation. The prevailing ‘pre-train, fine-tune’ paradigm has been widely adopted in graph machine learning tasks, particularly in scenarios with limited labeled nodes. However, this approach often exhibits a misalignment between the training objectives of pretext tasks and those of downstream tasks. This gap can result in the ‘negative transfer’ problem, wherein the knowledge gained from pre-training adversely affects performance in the downstream tasks. The surge in prompt-based learning within Natural Language Processing (NLP) suggests the potential of adapting a ‘pre-train, prompt’ paradigm to graphs as an alternative. However, existing graph prompting techniques are tailored to homogeneous graphs, neglecting the inherent heterogeneity of Web graphs. To bridge this gap, we propose HetGPT, a general post-training prompting framework to improve the predictive performance of pre-trained heterogeneous graph neural networks (HGNNs). The key is the design of a novel prompting function that integrates a virtual class prompt and a heterogeneous feature prompt, with the aim to reformulate downstream tasks to mirror pretext tasks. Moreover, HetGPT introduces a multi-view neighborhood aggregation mechanism, capturing the complex neighborhood structure in heterogeneous graphs. Extensive experiments on three benchmark datasets demonstrate HetGPT’s capability to enhance the performance of state-of-the-art HGNNs on semi-supervised node classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google