SIGMA: Selective Gated Mamba for Sequential Recommendation

要約

Sequential Recommender System (SRS) は、複雑なユーザーの好みを識別する優れた機能により、さまざまな分野で不可欠なものとなっています。
通常、SRS はトランスフォーマーベースのアーキテクチャを利用して、シーケンス内の後続のアイテムを予測します。
それにもかかわらず、これらのモデルに固有の 2 次計算の複雑さは非効率をもたらし、リアルタイムの推奨事項の達成を妨げることがよくあります。
最近の進歩である Mamba は、時系列予測において優れたパフォーマンスを発揮し、効率と精度の両方を大幅に向上させました。
ただし、Mamba を SRS に直接統合すると、いくつかの課題が生じます。
その本質的に一方向性の性質により、ユーザーとアイテムのインタラクションの完全なコンテキストを捕捉するモデルの能力が制限される可能性がありますが、状態推定の不安定性により、インタラクション シーケンス内の短期パターンを検出する能力が損なわれる可能性があります。
これらの問題を克服するために、Sequential Recommendation 用の Selective Gated Mamba (SIGMA) という新しいフレームワークを導入します。
このフレームワークは、Partially Flipped Mamba (PF-Mamba) を利用して、コンテキスト モデリングを改善するために特別に調整された双方向アーキテクチャを構築します。
さらに、入力に敏感な Dense Selective Gate (DS ゲート) が採用され、方向性の重みが最適化され、PF-Mamba での連続情報の処理が強化されます。
短いシーケンスのモデリングのために、短期の依存関係を効率的に取得する機能抽出 GRU (FE-GRU) も開発しました。
経験的な結果は、SIGMA が 5 つの現実世界のデータセットで現在のモデルよりも優れたパフォーマンスを発揮することを示しています。
再現性を容易にするために、実装コードは https://github.com/ziwliu-cityu/SIMGA で入手できます。

要約(オリジナル)

In various domains, Sequential Recommender Systems (SRS) have become essential due to their superior capability to discern intricate user preferences. Typically, SRS utilize transformer-based architectures to forecast the subsequent item within a sequence. Nevertheless, the quadratic computational complexity inherent in these models often leads to inefficiencies, hindering the achievement of real-time recommendations. Mamba, a recent advancement, has exhibited exceptional performance in time series prediction, significantly enhancing both efficiency and accuracy. However, integrating Mamba directly into SRS poses several challenges. Its inherently unidirectional nature may constrain the model’s capacity to capture the full context of user-item interactions, while its instability in state estimation can compromise its ability to detect short-term patterns within interaction sequences. To overcome these issues, we introduce a new framework named Selective Gated Mamba (SIGMA) for Sequential Recommendation. This framework leverages a Partially Flipped Mamba (PF-Mamba) to construct a bidirectional architecture specifically tailored to improve contextual modeling. Additionally, an input-sensitive Dense Selective Gate (DS Gate) is employed to optimize directional weights and enhance the processing of sequential information in PF-Mamba. For short sequence modeling, we have also developed a Feature Extract GRU (FE-GRU) to efficiently capture short-term dependencies. Empirical results indicate that SIGMA outperforms current models on five real-world datasets. Our implementation code is available at https://github.com/ziwliu-cityu/SIMGA to ease reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google