Unsupervised Prompting for Graph Neural Networks

要約

グラフニューラルネットワーク（GNNS）の迅速な調整方法は、トレーニング前のステップと微調整ステップの間のセマンティックギャップに対処するために一般的になりました。
ただし、既存のGNNプロンプトメソッドはラベル付きデータに依存しており、下流タスクの軽量微調整を伴います。
一方、大規模な言語モデル（LLMS）のコンテキスト内学習方法は、パラメーターの更新がなく、ラベル付けされたデータがないか、最小限のラベル付けされたデータを使用して有望なパフォーマンスを示しています。
これらのアプローチに触発されて、この作業では、最初にGNNプロンプトの方法を評価するための挑戦的な問題のセットアップを紹介します。
このセットアップは、プロンプト関数を促進し、GNNのパラメーターを更新せずにラベル付きデータを使用して、共変量シフトの下で、事前に訓練されたGNNの一般化をターゲットデータセットに強化します。
次に、擬似標識による一貫性の正則化に基づいて、完全に監視されていないプロンプト方法を提案します。
2つの正規化手法を使用して、プロンプトされたグラフの分布を元のデータに合わせ、偏った予測を減らします。
問題の設定に基づく広範な実験を通じて、監視されていないアプローチが、ラベルにアクセスできる最先端のプロンプト方法よりも優れていることを実証します。

要約(オリジナル)

Prompt tuning methods for Graph Neural Networks (GNNs) have become popular to address the semantic gap between pre-training and fine-tuning steps. However, existing GNN prompting methods rely on labeled data and involve lightweight fine-tuning for downstream tasks. Meanwhile, in-context learning methods for Large Language Models (LLMs) have shown promising performance with no parameter updating and no or minimal labeled data. Inspired by these approaches, in this work, we first introduce a challenging problem setup to evaluate GNN prompting methods. This setup encourages a prompting function to enhance a pre-trained GNN’s generalization to a target dataset under covariate shift without updating the GNN’s parameters and with no labeled data. Next, we propose a fully unsupervised prompting method based on consistency regularization through pseudo-labeling. We use two regularization techniques to align the prompted graphs’ distribution with the original data and reduce biased predictions. Through extensive experiments under our problem setting, we demonstrate that our unsupervised approach outperforms the state-of-the-art prompting methods that have access to labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google