JEPA4Rec: Learning Effective Language Representations for Sequential Recommendation via Joint Embedding Predictive Architecture

要約

言語表現の学習は、一般化可能な表現を学習する能力のおかげで、連続的な推奨の有望なアプローチとして浮上しています。
ただし、その利点にもかかわらず、このアプローチは、データスパース性と、常識的なユーザーの好みについての限られた理解に依然として闘っています。
これらの制限に対処するために、$ \ textbf {jepa4rec} $を提案します。これは、$ \ textbf {j} $ ointbf {e} $ mbedding $ \ textbf {p} $ redictive $ \ textbf {a} $ rchitection with remiculial textionsのモデル化のモデリングとともに$ \ textbf {e} $ \ bedding $ \ textbf {p} $ redictive $ \ textbf {a}を組み合わせたフレームワークを提案します。
JEPA4RECは、意味的に豊富で移転可能な表現をキャプチャし、推奨のパフォーマンスを改善し、大規模なトレーニング前のデータへの依存を減らします。
具体的には、jepa4recは、$ \ textit {title、category} $、その他の属性などの記述情報を平坦化することにより、テキスト文として項目を表します。
これらの文をエンコードするために、推奨データセットでアイテム情報をキャプチャするために調整された変更された埋め込みレイヤーを備えた双方向トランスエンコーダーを使用します。
マスキングをテキスト文に適用し、それらを使用して、マスクされていない文の表現を予測し、モデルが一般化可能なアイテムの埋め込みを学習するのに役立ちます。
推奨のパフォーマンスと言語の理解をさらに向上させるために、自己監視学習損失を取り入れた2段階のトレーニング戦略を採用しています。
6つの現実世界のデータセットでの実験は、JEPA4RECが一貫して最先端の方法、特にクロスドメイン、クロスプラットフォーム、および低リソースシナリオで優れていることを示しています。

要約(オリジナル)

Language representation learning has emerged as a promising approach for sequential recommendation, thanks to its ability to learn generalizable representations. However, despite its advantages, this approach still struggles with data sparsity and a limited understanding of common-sense user preferences. To address these limitations, we propose $\textbf{JEPA4Rec}$, a framework that combines $\textbf{J}$oint $\textbf{E}$mbedding $\textbf{P}$redictive $\textbf{A}$rchitecture with language modeling of item textual descriptions. JEPA4Rec captures semantically rich and transferable representations, improving recommendation performance and reducing reliance on large-scale pre-training data. Specifically, JEPA4Rec represents items as text sentences by flattening descriptive information such as $\textit{title, category}$, and other attributes. To encode these sentences, we employ a bidirectional Transformer encoder with modified embedding layers tailored for capturing item information in recommendation datasets. We apply masking to text sentences and use them to predict the representations of the unmasked sentences, helping the model learn generalizable item embeddings. To further improve recommendation performance and language understanding, we employ a two-stage training strategy incorporating self-supervised learning losses. Experiments on six real-world datasets demonstrate that JEPA4Rec consistently outperforms state-of-the-art methods, particularly in cross-domain, cross-platform, and low-resource scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google