Positional encoding is not the same as context: A study on positional encoding for sequential recommendation

要約

ストリーミング メディアと電子商取引の急速な成長により、レコメンデーション システム、特にシーケンシャル レコメンデーション システム (SRS) の進歩が促進されました。
これらのシステムは、ユーザーの対話履歴を利用して将来の好みを予測します。
最近の研究は、変換ブロックや特徴抽出などのアーキテクチャ上の革新に焦点を当てていますが、時間的パターンを捉えるために重要な位置エンコーディングはあまり注目されていません。
これらのエンコーディングは、時間的フットプリントなどのコンテキストと混同されることが多く、これまでの研究では位置情報と交換可能なものとして扱う傾向がありました。
この論文では、時間的フットプリントと位置的エンコーディングの重要な違いに焦点を当て、後者は時間的フットプリントだけでは提供できない項目間の固有の関係的手がかりを提供することを実証しています。
8 つの Amazon データセットとサブセットに対する広範な実験を通じて、パフォーマンス指標とトレーニングの安定性に対するさまざまなエンコーディングの影響を評価しました。
私たちは新しい位置エンコーディングを導入し、メトリクスと安定性の両方を改善する統合戦略を調査し、この研究の最初のプレプリント時点での最先端の結果を上回りました。
重要なのは、適切なエンコーディングの選択がパフォーマンス向上の鍵であるだけでなく、堅牢で信頼性の高い SRS モデルを構築するためにも不可欠であることを実証したことです。

要約(オリジナル)

The rapid growth of streaming media and e-commerce has driven advancements in recommendation systems, particularly Sequential Recommendation Systems (SRS). These systems employ users’ interaction histories to predict future preferences. While recent research has focused on architectural innovations like transformer blocks and feature extraction, positional encodings, crucial for capturing temporal patterns, have received less attention. These encodings are often conflated with contextual, such as the temporal footprint, which previous works tend to treat as interchangeable with positional information. This paper highlights the critical distinction between temporal footprint and positional encodings, demonstrating that the latter offers unique relational cues between items, which the temporal footprint alone cannot provide. Through extensive experimentation on eight Amazon datasets and subsets, we assess the impact of various encodings on performance metrics and training stability. We introduce new positional encodings and investigate integration strategies that improve both metrics and stability, surpassing state-of-the-art results at the time of this work’s initial preprint. Importantly, we demonstrate that selecting the appropriate encoding is not only key to better performance but also essential for building robust, reliable SRS models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google