Deep Stable Multi-Interest Learning for Out-of-distribution Sequential Recommendation

要約

タイトル：アウトオブディストリビューションシーケンシャルレコメンデーションのためのDeep Stable Multi-Interest Learning

要約：

– Multi-interestモデルは、ユーザーの興味を複数の表現ベクトルとして抽出することができ、シーケンシャルレコメンデーションにおいて有望な成果を示している。
– しかし、既存のMulti-interestレコメンデーションモデルは、アウトオブディストリビューション（OOD）一般化問題を考慮していない。つまり、興味分布が変化する場合があるということである。
– ユーザーの複数の興味は通常高度に相関しているため、モデルはノイズの興味とターゲットアイテムとの間の誤った相関を学習してしまう可能性がある。データ分布が変化すると、興味の相関は変化し、誤った相関がモデルを誤った予測に導くことになる。
– 上記のOOD一般化問題に対処するために、DEep Stable Multi-Interest Learning（DESMIL）という新しいMulti-interestネットワークを提案する。DESMILは模範的なモジュールを適用して複数の関心事を抽出し、最も重要な関心事を選択して最終的な予測を行う。
– 同時に、DESMILは、Hilbert-Schmidt独立性基準（HSIC）に基づく重み付き相関推定損失を組み込み、ネットワーク内の特徴の相関を最小限に抑えることができる。
– OODおよびランダム設定の下で広範な実験が行われ、最大36.8％および21.7％の相対的な改善が達成された。

要約(オリジナル)

Recently, multi-interest models, which extract interests of a user as multiple representation vectors, have shown promising performances for sequential recommendation. However, none of existing multi-interest recommendation models consider the Out-Of-Distribution (OOD) generalization problem, in which interest distribution may change. Considering multiple interests of a user are usually highly correlated, the model has chance to learn spurious correlations between noisy interests and target items. Once the data distribution changes, the correlations among interests may also change, and the spurious correlations will mislead the model to make wrong predictions. To tackle with above OOD generalization problem, we propose a novel multi-interest network, named DEep Stable Multi-Interest Learning (DESMIL), which attempts to de-correlate the extracted interests in the model, and thus spurious correlations can be eliminated. DESMIL applies an attentive module to extract multiple interests, and then selects the most important one for making final predictions. Meanwhile, DESMIL incorporates a weighted correlation estimation loss based on Hilbert-Schmidt Independence Criterion (HSIC), with which training samples are weighted, to minimize the correlations among extracted interests. Extensive experiments have been conducted under both OOD and random settings, and up to 36.8% and 21.7% relative improvements are achieved respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI