Prompt Learning on Temporal Interaction Graphs

要約

テンポラル インタラクション グラフ (TIG) は、現実世界のシステムを表すために広く利用されています。
TIG での表現学習を促進するために、研究者は一連の TIG モデルを提案しました。
ただし、これらのモデルは依然として、「事前トレーニング、予測」トレーニング パラダイムにおける、トレーニング前と下流の予測の間に 2 つの厳しいギャップに直面しています。
まず、事前トレーニング データと推論データの間の時間的な不一致により、動的に進化するデータに対する遠い将来の予測におけるモデルの適用性が大幅に損なわれます。
第 2 に、口実タスクと下流タスクの間の意味論的な相違により、アプリケーション シナリオ全体で学習および予測能力を調整するのに苦労するため、実際のアプリケーションが妨げられます。
最近、「事前トレーニング、プロンプト」パラダイムが、モデル一般化のための軽量メカニズムとして登場しました。
このパラダイムを適用すると、前述の課題を解決できる可能性があります。
ただし、このパラダイムを TIG に適応させるのは簡単ではありません。
静的なグラフ コンテキストでのプロンプトの適用は、時間に依存するダイナミクスへの考慮の欠如と表現力の不足のため、時間設定では不十分です。
この問題に対処するために、TIG モデルとシームレスに統合し、時間的ギャップとセマンティック ギャップの両方を埋める多用途フレームワークである Temporal Interaction Graph Prompting (TIGPrompt) を導入します。
詳細には、さまざまなタスクに対して時間的に認識されたプロンプトを提供する時間的プロンプト ジェネレーターを提案します。
これらのプロンプトは、最小限の設計で際立っており、監視データがほとんどないプロンプト ジェネレーターの調整のみに依存しています。
さまざまな計算リソースの需要に応えるために、より高い柔軟性を提供する拡張された「事前トレーニング、プロンプトベースの微調整」パラダイムを提案します。
広範な実験を通じて、TIGPrompt は SOTA のパフォーマンスと顕著な効率上の利点を実証しています。

要約(オリジナル)

Temporal Interaction Graphs (TIGs) are widely utilized to represent real-world systems. To facilitate representation learning on TIGs, researchers have proposed a series of TIG models. However, these models are still facing two tough gaps between the pre-training and downstream predictions in their “pre-train, predict” training paradigm. First, the temporal discrepancy between the pre-training and inference data severely undermines the models’ applicability in distant future predictions on the dynamically evolving data. Second, the semantic divergence between pretext and downstream tasks hinders their practical applications, as they struggle to align with their learning and prediction capabilities across application scenarios. Recently, the “pre-train, prompt” paradigm has emerged as a lightweight mechanism for model generalization. Applying this paradigm is a potential solution to solve the aforementioned challenges. However, the adaptation of this paradigm to TIGs is not straightforward. The application of prompting in static graph contexts falls short in temporal settings due to a lack of consideration for time-sensitive dynamics and a deficiency in expressive power. To address this issue, we introduce Temporal Interaction Graph Prompting (TIGPrompt), a versatile framework that seamlessly integrates with TIG models, bridging both the temporal and semantic gaps. In detail, we propose a temporal prompt generator to offer temporally-aware prompts for different tasks. These prompts stand out for their minimalistic design, relying solely on the tuning of the prompt generator with very little supervision data. To cater to varying computational resource demands, we propose an extended “pre-train, prompt-based fine-tune” paradigm, offering greater flexibility. Through extensive experiments, the TIGPrompt demonstrates the SOTA performance and remarkable efficiency advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google