GraphPro: Graph Pre-training and Prompt Learning for Recommendation

要約

GNN ベースのレコメンダーは、マルチホップ メッセージ パッシングによる複雑なユーザーとアイテムの対話のモデル化に優れています。
しかし、既存の方法では、進化するユーザーとアイテムのインタラクションの動的な性質が見落とされていることが多く、ユーザーの好みの変化や新しく到着するデータの分布の変化への適応が妨げられています。
したがって、現実世界の動的な環境におけるスケーラビリティとパフォーマンスには制限があります。
この研究では、パラメータ効率の高い動的なグラフ事前トレーニングと即時学習を組み込んだフレームワークである GraphPro を提案します。
この新しい組み合わせにより、GNN は長期的なユーザーの好みと短期的な行動ダイナミクスの両方を効果的に捕捉できるようになり、正確かつタイムリーな推奨事項の配信が可能になります。
当社の GraphPro フレームワークは、時間的プロンプト メカニズムとグラフ構造プロンプト学習メカニズムを事前トレーニング済みの GNN モデルにシームレスに統合することで、ユーザーの好みの進化という課題に対処します。
時間的プロンプト メカニズムは、ユーザーとアイテムのインタラクションに関する時間情報をエンコードし、モデルが時間的コンテキストを自然にキャプチャできるようにします。また、グラフ構造のプロンプト学習メカニズムにより、継続的な増分トレーニングを必要とせずに、事前トレーニングされた知識を転送して行動のダイナミクスに適応させることができます。
。
さらに、現実世界の動的なシナリオを模倣し、オフラインとオンラインのギャップをより良いレベルに埋めるために、推奨事項に動的な評価設定を導入します。
大規模な産業展開を含む当社の広範な実験では、さまざまな最先端のレコメンダーと統合したときの GraphPro の軽量プラグイン拡張性を実証し、有効性、堅牢性、効率性の点で GraphPro の利点を強調しています。

要約(オリジナル)

GNN-based recommenders have excelled in modeling intricate user-item interactions through multi-hop message passing. However, existing methods often overlook the dynamic nature of evolving user-item interactions, which impedes the adaption to changing user preferences and distribution shifts in newly arriving data. Thus, their scalability and performances in real-world dynamic environments are limited. In this study, we propose GraphPro, a framework that incorporates parameter-efficient and dynamic graph pre-training with prompt learning. This novel combination empowers GNNs to effectively capture both long-term user preferences and short-term behavior dynamics, enabling the delivery of accurate and timely recommendations. Our GraphPro framework addresses the challenge of evolving user preferences by seamlessly integrating a temporal prompt mechanism and a graph-structural prompt learning mechanism into the pre-trained GNN model. The temporal prompt mechanism encodes time information on user-item interaction, allowing the model to naturally capture temporal context, while the graph-structural prompt learning mechanism enables the transfer of pre-trained knowledge to adapt to behavior dynamics without the need for continuous incremental training. We further bring in a dynamic evaluation setting for recommendation to mimic real-world dynamic scenarios and bridge the offline-online gap to a better level. Our extensive experiments including a large-scale industrial deployment showcases the lightweight plug-in scalability of our GraphPro when integrated with various state-of-the-art recommenders, emphasizing the advantages of GraphPro in terms of effectiveness, robustness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google