EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation

要約

過去の行動に基づいてユーザーの好みと逐次的な依存関係を予測することが、逐次レコメンデーションの中心的な目標です。
注意ベースのモデルはこの分野で有効性を示していますが、特に長距離の動作シーケンスでは、注意メカニズムに固有の二次計算の複雑さによる推論の非効率性に悩まされることがよくあります。
動的システムのモデリングと制御のための堅牢なフレームワークを提供する、制御理論における状態空間モデル (SSM) の最近の進歩からインスピレーションを得て、EchoMamba4Rec を紹介します。
制御理論では、長距離の依存関係を管理し、構造化された状態行列を通じて推論効率を維持するために SSM を使用することが強調されています。
EchoMamba4Rec は、これらの制御関係を逐次レコメンデーションで活用し、双方向処理と周波数領域フィルタリングを統合して、ユーザー インタラクション データの複雑なパターンと依存関係をより効果的にキャプチャします。
私たちのモデルは、状態空間モデル (SSM) の並列計算を学習して実行する機能の恩恵を受けており、計算効率とスケーラビリティが大幅に向上しています。
これは、過去と将来の両方のインタラクションからの情報を活用する、順方向と逆方向の両方の Mamba コンポーネントを組み込んだ双方向の Mamba モジュールを特徴としています。
さらに、フィルター層は学習可能な高速フーリエ変換 (FFT) と学習可能なフィルターを使用して周波数領域で動作し、その後に逆 FFT を実行してアイテムの埋め込みを改善し、ノイズを低減します。
また、ゲート線形ユニット (GLU) を統合して情報フローを動的に制御し、モデルの表現力とトレーニングの安定性を強化します。
実験結果は、EchoMamba が既存のモデルよりも大幅に優れたパフォーマンスを示し、より正確でパーソナライズされた推奨事項を提供することを示しています。

要約(オリジナル)

Predicting user preferences and sequential dependencies based on historical behavior is the core goal of sequential recommendation. Although attention-based models have shown effectiveness in this field, they often struggle with inference inefficiency due to the quadratic computational complexity inherent in attention mechanisms, especially with long-range behavior sequences. Drawing inspiration from the recent advancements of state space models (SSMs) in control theory, which provide a robust framework for modeling and controlling dynamic systems, we introduce EchoMamba4Rec. Control theory emphasizes the use of SSMs for managing long-range dependencies and maintaining inferential efficiency through structured state matrices. EchoMamba4Rec leverages these control relationships in sequential recommendation and integrates bi-directional processing with frequency-domain filtering to capture complex patterns and dependencies in user interaction data more effectively. Our model benefits from the ability of state space models (SSMs) to learn and perform parallel computations, significantly enhancing computational efficiency and scalability. It features a bi-directional Mamba module that incorporates both forward and reverse Mamba components, leveraging information from both past and future interactions. Additionally, a filter layer operates in the frequency domain using learnable Fast Fourier Transform (FFT) and learnable filters, followed by an inverse FFT to refine item embeddings and reduce noise. We also integrate Gate Linear Units (GLU) to dynamically control information flow, enhancing the model’s expressiveness and training stability. Experimental results demonstrate that EchoMamba significantly outperforms existing models, providing more accurate and personalized recommendations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google