HMDN: Hierarchical Multi-Distribution Network for Click-Through Rate Prediction

要約

推薦サービスでは、多母集団、多シナリオ、多ターゲット、多関心など、ますます多様化する分布に対応する必要があるため、最近では、多分布モデリングに焦点を当てた研究が増え、大きな成果を上げている。しかし、その多くは単一多分布のモデリングしか考慮しておらず、混合多分布がしばしば共存し、階層的な関係を形成することを無視している。これらの課題に対処するために、我々は階層的多分布ネットワーク(HMDN)と名付けた柔軟なモデリングパラダイムを提案する。このパラダイムは、これらの階層的関係を効率的にモデル化し、MoE(Mixture of Experts)やDW(Dynamic-Weight)モデルなどの既存の多分布手法とシームレスに統合することができる。具体的には、まず、きめ細かな階層表現を得るために、多レベルの残差量子化を採用した階層的多分布表現精密化モジュールを設計する。そして、洗練された階層的表現を既存の単一多分布モデルに統合し、混合多分布モデルにシームレスに拡張する。公開データセットと産業データセットの両方を用いた実験結果により、HMDNの有効性と柔軟性が検証された。

要約(オリジナル)

As the recommendation service needs to address increasingly diverse distributions, such as multi-population, multi-scenario, multitarget, and multi-interest, more and more recent works have focused on multi-distribution modeling and achieved great progress. However, most of them only consider modeling in a single multi-distribution manner, ignoring that mixed multi-distributions often coexist and form hierarchical relationships. To address these challenges, we propose a flexible modeling paradigm, named Hierarchical Multi-Distribution Network (HMDN), which efficiently models these hierarchical relationships and can seamlessly integrate with existing multi-distribution methods, such as Mixture of-Experts (MoE) and Dynamic-Weight (DW) models. Specifically, we first design a hierarchical multi-distribution representation refinement module, employing a multi-level residual quantization to obtain fine-grained hierarchical representation. Then, the refined hierarchical representation is integrated into the existing single multi-distribution models, seamlessly expanding them into mixed multi-distribution models. Experimental results on both public and industrial datasets validate the effectiveness and flexibility of HMDN.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL