Virtual Node Tuning for Few-shot Node Classification

要約

少数ショット ノード分類 (FSNC) は、クラスごとに少数のラベル付きノードのみがトレーニングに利用できるグラフ表現学習における課題です。
この問題に取り組むために、豊富なラベルを持つ基本クラスからターゲットの新規クラスに構造的知識を転送するメタ学習が提案されています。
ただし、基本クラスにラベル付きノードがないか制限されている場合、既存のソリューションは効果がなくなるか適用できなくなります。
この課題に対処するために、私たちは仮想ノード チューニング (VNT) と呼ばれる革新的な方法を提案します。
私たちのアプローチでは、エンコーダーとして事前トレーニングされたグラフ トランスフォーマーを利用し、仮想ノードをソフト プロンプトとしてエンベディング空間に挿入します。これは、新しいクラスの少数ショット ラベルを使用して最適化して、特定の FSNC タスクごとにノード エンベディングを調整できます。
VNT のユニークな機能は、Graph-based Pseudo Prompt Evolution (GPPE) モジュールを組み込むことにより、VNT-GPPE が基本クラスのスパース ラベルを持つシナリオを処理できることです。
4 つのデータセットに関する実験結果は、ラベルなしまたはまばらにラベル付けされた基本クラスを使用して FSNC に対処する際に、提案されたアプローチの優位性が実証されており、既存の最先端の手法や、完全に監視されたベースラインさえも上回っています。

要約(オリジナル)

Few-shot Node Classification (FSNC) is a challenge in graph representation learning where only a few labeled nodes per class are available for training. To tackle this issue, meta-learning has been proposed to transfer structural knowledge from base classes with abundant labels to target novel classes. However, existing solutions become ineffective or inapplicable when base classes have no or limited labeled nodes. To address this challenge, we propose an innovative method dubbed Virtual Node Tuning (VNT). Our approach utilizes a pretrained graph transformer as the encoder and injects virtual nodes as soft prompts in the embedding space, which can be optimized with few-shot labels in novel classes to modulate node embeddings for each specific FSNC task. A unique feature of VNT is that, by incorporating a Graph-based Pseudo Prompt Evolution (GPPE) module, VNT-GPPE can handle scenarios with sparse labels in base classes. Experimental results on four datasets demonstrate the superiority of the proposed approach in addressing FSNC with unlabeled or sparsely labeled base classes, outperforming existing state-of-the-art methods and even fully supervised baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google