OmniSage: Large Scale, Multi-Entity Heterogeneous Graph Representation Learning

要約

エンティティを代表する潜在的なベクトルを学習するタスクである表現学習は、Webアプリケーションの検索および推奨システムを改善する上で重要なタスクです。
エンティティ間の関係のためのグラフベースのアプローチ、ユーザーアクティビティの時間的進化をキャプチャするためのシーケンスベースの方法、テキストと視覚コンテンツを活用するためのコンテンツベースのモデルなど、さまざまな表現学習方法が開発されています。
ただし、これらの多様な手法を統合して複数のアプリケーションをサポートする統合フレームワークの開発は、依然として重要な課題です。
このペーパーでは、Pinterestのさまざまなアプリケーションの普遍的な表現を学習する大規模な表現フレームワークであるOmnisageを紹介します。
Omnisageは、グラフデータ、ユーザーシーケンスデータ、およびコンテンツ信号を効果的に処理するために複数の対照学習タスクを使用することにより、グラフニューラルネットワークをコンテンツベースのモデルとユーザーシーケンスモデルと統合します。
Omnisageのトレーニングと推論をサポートするために、数十億ノードでPinterestグラフをサポートできる効率的なインフラストラクチャを開発しました。
Omnisageによって生成された普遍的な表現は、Pinterestでのユーザーエクスペリエンスが大幅に向上し、5つのアプリケーションでサイト全体のレピン（SAVE）が約2.5％増加しました。
このペーパーでは、統一表現学習方法の影響を強調しており、出版時までにOmnisageコードをオープンします。

要約(オリジナル)

Representation learning, a task of learning latent vectors to represent entities, is a key task in improving search and recommender systems in web applications. Various representation learning methods have been developed, including graph-based approaches for relationships among entities, sequence-based methods for capturing the temporal evolution of user activities, and content-based models for leveraging text and visual content. However, the development of a unifying framework that integrates these diverse techniques to support multiple applications remains a significant challenge. This paper presents OmniSage, a large-scale representation framework that learns universal representations for a variety of applications at Pinterest. OmniSage integrates graph neural networks with content-based models and user sequence models by employing multiple contrastive learning tasks to effectively process graph data, user sequence data, and content signals. To support the training and inference of OmniSage, we developed an efficient infrastructure capable of supporting Pinterest graphs with billions of nodes. The universal representations generated by OmniSage have significantly enhanced user experiences on Pinterest, leading to an approximate 2.5% increase in sitewide repins (saves) across five applications. This paper highlights the impact of unifying representation learning methods, and we will open source the OmniSage code by the time of publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google