HiNet: A Novel Multi-Scenario & Multi-Task Learning Approach with Hierarchical Information Extraction

要約

マルチシナリオ & マルチタスク学習は、産業用アプリケーションの多くのレコメンデーション システムに広く適用されています。効果的かつ実用的なアプローチは、Mixture-of-Expert (MoE) アーキテクチャに基づいてマルチシナリオ転移学習を実行することです。
ただし、すべての情報を同じ特徴空間に投影することを目的とする MoE ベースの方法では、さまざまなシナリオやタスクに内在する複雑な関係を効果的に処理できず、満足のいくパフォーマンスが得られません。
この問題に取り組むために、我々は、マルチシナリオおよびマルチタスク推奨のための階層情報抽出ネットワーク（HiNet）を提案します。これは、粗い知識伝達スキームに基づいた階層的抽出を実現します。
階層ネットワークの複数の抽出層により、モデルは、シナリオとタスクの特定の機能を維持しながら、シナリオ間で貴重な情報を転送する機能を強化できます。
さらに、シナリオ間の相関関係を明示的にモデル化するために、新しいシナリオ対応の注意深いネットワーク モジュールが提案されています。
Meituan Meishi プラットフォームからの実世界の産業用データセットに対して実施された包括的な実験は、HiNet が新しい最先端のパフォーマンスを達成し、既存のソリューションを大幅に上回ることを示しています。
HiNet は現在、2 つのシナリオで完全に展開されており、それぞれ 2.87% と 1.75% の注文数量増加を達成しています。

要約(オリジナル)

Multi-scenario & multi-task learning has been widely applied to many recommendation systems in industrial applications, wherein an effective and practical approach is to carry out multi-scenario transfer learning on the basis of the Mixture-of-Expert (MoE) architecture. However, the MoE-based method, which aims to project all information in the same feature space, cannot effectively deal with the complex relationships inherent among various scenarios and tasks, resulting in unsatisfactory performance. To tackle the problem, we propose a Hierarchical information extraction Network (HiNet) for multi-scenario and multi-task recommendation, which achieves hierarchical extraction based on coarse-to-fine knowledge transfer scheme. The multiple extraction layers of the hierarchical network enable the model to enhance the capability of transferring valuable information across scenarios while preserving specific features of scenarios and tasks. Furthermore, a novel scenario-aware attentive network module is proposed to model correlations between scenarios explicitly. Comprehensive experiments conducted on real-world industrial datasets from Meituan Meishi platform demonstrate that HiNet achieves a new state-of-the-art performance and significantly outperforms existing solutions. HiNet is currently fully deployed in two scenarios and has achieved 2.87% and 1.75% order quantity gain respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google