Graph Masked Autoencoder for Sequential Recommendation

要約

タイトル：シーケンシャル推薦のためのグラフマスクオートエンコーダー

要約：

– シーケンシャル推薦で高次元のアイテム依存性モデリングを行ういくつかの大規模ニューラルネットワーク構造（Transformer、Graph Neural Networkなど）は、ラベルが不十分な場合に表現能力が不足する可能性がある。
– 不十分なラベルに対処するために、自己教師あり学習のためのコントラスティブラーニングが注目されているが、既存のコントラスティブビュー生成戦略の手作り特性により、異なるシーケンシャル推薦タスクで一定のパフォーマンスを発揮しにくいこと、ユーザーの行動データのノイズに対して耐性を持たないことがある。
– これに対処するために、提案するグラフマスクオートエンコーダー強化のシーケンシャルレコメンデーションシステム（MAERec）は、適応的かつ動的にグローバルなアイテム遷移情報を蒸留して、自己教師ありのデータ拡張を実現する。
– 高品質の埋め込みコントラストビューの構築に強烈に依存する問題を自然に回避するために、長期的なアイテム依存モデリングに統合された適応的なデータ再構築パラダイムが設計され、シーケンシャルレコメンデーションにおける情報的な拡張を実現する。
– 実験の結果、我々の方法は、最先端のベースラインモデルに比べて有意に優れたパフォーマンスを発揮し、データのノイズや希薄性に対してより正確な表現を学習できることが示された。共有コードの実装はhttps://github.com/HKUDS/MAERecで利用できる。

要約(オリジナル)

While some powerful neural network architectures (e.g., Transformer, Graph Neural Networks) have achieved improved performance in sequential recommendation with high-order item dependency modeling, they may suffer from poor representation capability in label scarcity scenarios. To address the issue of insufficient labels, Contrastive Learning (CL) has attracted much attention in recent methods to perform data augmentation through embedding contrasting for self-supervision. However, due to the hand-crafted property of their contrastive view generation strategies, existing CL-enhanced models i) can hardly yield consistent performance on diverse sequential recommendation tasks; ii) may not be immune to user behavior data noise. In light of this, we propose a simple yet effective Graph Masked AutoEncoder-enhanced sequential Recommender system (MAERec) that adaptively and dynamically distills global item transitional information for self-supervised augmentation. It naturally avoids the above issue of heavy reliance on constructing high-quality embedding contrastive views. Instead, an adaptive data reconstruction paradigm is designed to be integrated with the long-range item dependency modeling, for informative augmentation in sequential recommendation. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art baseline models and can learn more accurate representations against data noise and sparsity. Our implemented model code is available at https://github.com/HKUDS/MAERec.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI