Adap-$τ$: Adaptively Modulating Embedding Magnitude for Recommendation

要約

近年、レコメンダ システムにおける埋め込みベースの手法が大きな成功を収めています。
まともなパフォーマンスにもかかわらず、私たちは、これらの方法の潜在的な限界の 1 つを主張します。埋め込みの大きさが明示的に調整されていないため、人気バイアスとトレーニングの不安定性が悪化して、モデルが適切な推奨を行うのを妨げる可能性があります。
これは、レコメンデーションで埋め込み正規化を活用する動機になります。
ユーザー/アイテムの埋め込みを特定の値に正規化することにより、4 つの現実世界のデータセットでパフォーマンスが大幅に向上する (平均 9\%) ことが経験的に観察されています。
勇気づけられるものではありますが、推奨に正規化を適用する場合の重大な制限も明らかになります。パフォーマンスは、正規化された埋め込みのスケールを制御する温度 $\tau$ の選択に非常に敏感です。
正規化の限界を回避しながら正規化のメリットを最大限に引き出すために、この研究では適切な $\tau$ を適応的に設定する方法を研究しました。
この目的に向けて、私たちはまず $\tau$ の包括的な分析を行い、推奨におけるその役割を完全に理解します。
次に、適応性、個別化、効率性、モデルに依存しないという 4 つの望ましい特性を満たす、温度に対する適応的できめの細かい戦略 Adap-$\tau$ を開発します。
この提案の有効性を検証するために、広範な実験が実施されました。
コードは \url{https://github.com/junkangwu/Adap_tau} で入手できます。

要約(オリジナル)

Recent years have witnessed the great successes of embedding-based methods in recommender systems. Despite their decent performance, we argue one potential limitation of these methods — the embedding magnitude has not been explicitly modulated, which may aggravate popularity bias and training instability, hindering the model from making a good recommendation. It motivates us to leverage the embedding normalization in recommendation. By normalizing user/item embeddings to a specific value, we empirically observe impressive performance gains (9\% on average) on four real-world datasets. Although encouraging, we also reveal a serious limitation when applying normalization in recommendation — the performance is highly sensitive to the choice of the temperature $\tau$ which controls the scale of the normalized embeddings. To fully foster the merits of the normalization while circumvent its limitation, this work studied on how to adaptively set the proper $\tau$. Towards this end, we first make a comprehensive analyses of $\tau$ to fully understand its role on recommendation. We then accordingly develop an adaptive fine-grained strategy Adap-$\tau$ for the temperature with satisfying four desirable properties including adaptivity, personalized, efficiency and model-agnostic. Extensive experiments have been conducted to validate the effectiveness of the proposal. The code is available at \url{https://github.com/junkangwu/Adap_tau}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google