PDT: Pretrained Dual Transformers for Time-aware Bipartite Graphs

要約

大規模モデルでの事前トレーニングは普及しており、多くの機械学習アプリケーション カテゴリで増え続けるユーザー生成コンテンツに伴い出現しています。
ユーザーとコンテンツのインタラクションを表すデータセットから文脈上の知識を学習することは、下流のタスクにおいて重要な役割を果たすことが認識されています。
事前トレーニング方法を通じて状況に応じた知識を学習しようとするいくつかの研究にもかかわらず、このタイプのタスクに最適なトレーニング目標と戦略を見つけることは依然として困難な問題です。
この研究では、ユーザーとコンテンツのインタラクションを 2 部グラフとして表現できるデータセットには、コンテキスト知識の 2 つの異なる側面、つまりユーザー側とコンテンツ側が存在すると主張します。
文脈知識を学習するために、ユーザー側とコンテンツ側の空間間の双方向マッピングを学習する事前学習手法を提案します。
私たちはトレーニング目標を対照的な学習タスクとして定式化し、状況に応じた知識をエンコードするためのデュアル Transformer アーキテクチャを提案します。
提案タスクに対する提案手法を評価する。
実証研究では、提案された方法がすべてのベースラインを上回り、大幅な向上をもたらしたことが実証されました。

要約(オリジナル)

Pre-training on large models is prevalent and emerging with the ever-growing user-generated content in many machine learning application categories. It has been recognized that learning contextual knowledge from the datasets depicting user-content interaction plays a vital role in downstream tasks. Despite several studies attempting to learn contextual knowledge via pre-training methods, finding an optimal training objective and strategy for this type of task remains a challenging problem. In this work, we contend that there are two distinct aspects of contextual knowledge, namely the user-side and the content-side, for datasets where user-content interaction can be represented as a bipartite graph. To learn contextual knowledge, we propose a pre-training method that learns a bi-directional mapping between the spaces of the user-side and the content-side. We formulate the training goal as a contrastive learning task and propose a dual-Transformer architecture to encode the contextual knowledge. We evaluate the proposed method for the recommendation task. The empirical studies have demonstrated that the proposed method outperformed all the baselines with significant gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google