Semantics-enhanced Temporal Graph Networks for Content Popularity Prediction

要約

高解像度ビデオ ストリーミング サービスと大規模なニューラル ネットワーク モデル (Generative Pre-trained Transformer、GPT など) に対する需要の急増は、インターネット トラフィックの爆発的な増加を意味します。
トラフィックのプレッシャーを軽減するために、ネットワーク内ストレージを備えたアーキテクチャが提案されており、ユーザーの近くにあるデバイスで人気のあるコンテンツをキャッシュします。
それに応じて、キャッシングの利用率を最大化するためには、効果的な人気予測方法を考案することが不可欠になります。
その点で、動的グラフ ニューラル ネットワーク (DGNN) モデルを使用して人気を予測すると、驚くべきパフォーマンスが得られます。
ただし、DGNN モデルは、ほとんどのユーザーが非アクティブなまばらなデータセットへの取り組みに依然として苦しんでいます。
したがって、セマンティクス強化テンポラル グラフ ネットワーク (STGN) と呼ばれる革新的なテンポラル グラフ ネットワークを提案します。これは、追加のセマンティック情報をユーザー コンテンツの 2 部グラフに追加し、表面的なトポロジ構造の背後にある暗黙の関係をより適切に活用できます。
その上で、時間的および構造的学習モジュールをカスタマイズして、予測パフォーマンスをさらに向上させます。
具体的には、コンテンツが持つ可能性のある多様なセマンティクスを効率的に集約するために、時間学習モジュールのユーザー固有の注意 (UsAttn) メカニズムを設計します。
コンテンツに対するジャンルの影響のみを分析する注意メカニズムとは異なり、UsAttn は特定のユーザーに対するセマンティック情報の魅力も考慮します。
一方、構造学習に関しては、アテンションベースのグラフ学習に位置エンコーディングの概念を導入し、セマンティック位置エンコーディング (SPE) 関数を採用して、コンテンツ指向のユーザー関連付け分析の分析を容易にします。
最後に、大規模なシミュレーションにより、STGN モデルの優位性が検証され、コンテンツ キャッシングの有効性が実証されます。

要約(オリジナル)

The surging demand for high-definition video streaming services and large neural network models (e.g., Generative Pre-trained Transformer, GPT) implies a tremendous explosion of Internet traffic. To mitigate the traffic pressure, architectures with in-network storage have been proposed to cache popular contents at devices in closer proximity to users. Correspondingly, in order to maximize caching utilization, it becomes essential to devise an effective popularity prediction method. In that regard, predicting popularity with dynamic graph neural network (DGNN) models achieve remarkable performance. However, DGNN models still suffer from tackling sparse datasets where most users are inactive. Therefore, we propose a reformative temporal graph network, named semantics-enhanced temporal graph network (STGN), which attaches extra semantic information into the user-content bipartite graph and could better leverage implicit relationships behind the superficial topology structure. On top of that, we customize its temporal and structural learning modules to further boost the prediction performance. Specifically, in order to efficiently aggregate the diversified semantics that a content might possess, we design a user-specific attention (UsAttn) mechanism for temporal learning module. Unlike the attention mechanism that only analyzes the influence of genres on content, UsAttn also considers the attraction of semantic information to a specific user. Meanwhile, as for the structural learning, we introduce the concept of positional encoding into our attention-based graph learning and adopt a semantic positional encoding (SPE) function to facilitate the analysis of content-oriented user-association analysis. Finally, extensive simulations verify the superiority of our STGN models and demonstrate the effectiveness in content caching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google