RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning

要約

「事前トレーニング、プロンプト」パラダイムの出現により、自然言語処理 (NLP) での成果に続き、最近ではその汎化能力とデータ効率がグラフ表現学習にも拡張されました。
初期のグラフ プロンプト チューニングでは、エッジ予測などの特定の戦略で事前トレーニングされたグラフ ニューラル ネットワーク (GNN) モデルに特化したプロンプト関数を調整するため、適用性が制限されます。
対照的に、別の先駆的な研究では、入力グラフの特徴空間にプロンプ​​トを追加することで、特定の事前トレーニング戦略への依存を排除​​することで普遍的なプロンプティングを探求しています。
ただし、すべてのノードに機能プロンプトを追加する必要性については未解決の問題が残っています。
NLP ドメインでのプロンプト チューニング研究の結果 (高機能の事前トレーニング済みモデルでは、望ましい動作を達成するために必要な調整信号が少なくて済むことを示唆) に動機付けられ、私たちは、下流のタスクのパフォーマンスを向上させるために、特定のグラフ ノードに必要な軽量の機能プロンプトを戦略的に組み込むことを提唱しています。
これにより、組み合わせ最適化の問題が発生し、1) どのノードにプロンプ​​トを表示するか、2) どの特定の機能にプロンプ​​トを添付するかを決定するポリシーが必要になります。
次に、プロンプト組み込みプロセスを逐次的な意思決定の問題として枠組み化することで問題に対処し、強化学習 (RL) を使用してそれを最適化する手法 RELIEF を提案します。
各ステップで、RL エージェントはノードを選択し (個別のアクション)、プロンプトの内容 (連続的なアクション) を決定し、累積的なパフォーマンスの向上を最大化します。
数ショットのシナリオでさまざまな事前トレーニング戦略を使用したグラフおよびノー​​ドレベルのタスクに関する広範な実験により、RELIEF が分類パフォーマンスとデータ効率において微調整やその他のプロンプトベースのアプローチよりも優れていることが実証されました。

要約(オリジナル)

The advent of the ‘pre-train, prompt’ paradigm has recently extended its generalization ability and data efficiency to graph representation learning, following its achievements in Natural Language Processing (NLP). Initial graph prompt tuning approaches tailored specialized prompting functions for Graph Neural Network (GNN) models pre-trained with specific strategies, such as edge prediction, thus limiting their applicability. In contrast, another pioneering line of research has explored universal prompting via adding prompts to the input graph’s feature space, thereby removing the reliance on specific pre-training strategies. However, the necessity to add feature prompts to all nodes remains an open question. Motivated by findings from prompt tuning research in the NLP domain, which suggest that highly capable pre-trained models need less conditioning signal to achieve desired behaviors, we advocate for strategically incorporating necessary and lightweight feature prompts to certain graph nodes to enhance downstream task performance. This introduces a combinatorial optimization problem, requiring a policy to decide 1) which nodes to prompt and 2) what specific feature prompts to attach. We then address the problem by framing the prompt incorporation process as a sequential decision-making problem and propose our method, RELIEF, which employs Reinforcement Learning (RL) to optimize it. At each step, the RL agent selects a node (discrete action) and determines the prompt content (continuous action), aiming to maximize cumulative performance gain. Extensive experiments on graph and node-level tasks with various pre-training strategies in few-shot scenarios demonstrate that our RELIEF outperforms fine-tuning and other prompt-based approaches in classification performance and data efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google