Instance-Aware Graph Prompt Learning

要約

グラフ ニューラル ネットワークは、その強力な表現力により、グラフ表現学習の主要な技術となっていますが、そのパフォーマンスは、エンドツーエンドで高品質のラベルが利用できるかどうかに大きく依存します。
したがって、ラベルのコストの問題を軽減するために、事前トレーニングと微調整のパラダイムが提案されています。
その後、口実タスクと下流タスクの間のギャップにより、競争力のあるパフォーマンスを維持しながら最小限のパラメータで元のグラフ データに一連のグラフ プロンプトを挿入するグラフ プロンプト学習の開発が促進されました。
ただし、現在の探索的作業は、タスクに含まれる多様なインスタンス全体にうまく一般化できない可能性がある固定のタスク固有のプロンプトを学習することに集中しているため、依然として限定的です。
この課題に取り組むために、このホワイトペーパーでは、さまざまな入力インスタンスに合わせて調整された個別のプロンプトを生成することを目的とした、インスタンス認識グラフ プロンプト学習 (IA-GPL) を紹介します。
このプロセスには、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成し、トレーニング可能なコードブック ベクトルを通じてこれらのプロンプトを量子化し、安定したトレーニングを確保するために指数移動平均技術を採用することが含まれます。
複数のデータセットと設定に対して行われた広範な実験により、最先端のベースラインと比較して IA-GPL の優れたパフォーマンスが実証されました。

要約(オリジナル)

Graph neural networks stand as the predominant technique for graph representation learning owing to their strong expressive power, yet the performance highly depends on the availability of high-quality labels in an end-to-end manner. Thus the pretraining and fine-tuning paradigm has been proposed to mitigate the label cost issue. Subsequently, the gap between the pretext tasks and downstream tasks has spurred the development of graph prompt learning which inserts a set of graph prompts into the original graph data with minimal parameters while preserving competitive performance. However, the current exploratory works are still limited since they all concentrate on learning fixed task-specific prompts which may not generalize well across the diverse instances that the task comprises. To tackle this challenge, we introduce Instance-Aware Graph Prompt Learning (IA-GPL) in this paper, aiming to generate distinct prompts tailored to different input instances. The process involves generating intermediate prompts for each instance using a lightweight architecture, quantizing these prompts through trainable codebook vectors, and employing the exponential moving average technique to ensure stable training. Extensive experiments conducted on multiple datasets and settings showcase the superior performance of IA-GPL compared to state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google