M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework

要約

マルチドメイン推奨とマルチタスク推奨は、さまざまなドメインや目的からの共通情報を活用して包括的なユーザー モデリングを行う際に有効であることが実証されています。
それにもかかわらず、実際的な推奨事項は通常、複数のドメインとタスクに同時に直面しており、現在の方法では十分に対処できません。
この目的を達成するために、適応型マルチドメイン マルチタスク専門家混合推奨フレームワークである M3oE を導入します。
M3oE は、マルチドメイン情報を統合し、ドメインとタスク全体で知識をマッピングし、複数の目標を最適化します。
私たちは 3 つの専門家混合モジュールを活用して、共通、ドメイン面、タスク面のユーザー設定をそれぞれ学習し、複数のドメインとタスク間の複雑な依存関係に解きほぐされた方法で対処します。
さらに、さまざまなドメインやタスクにわたる特徴抽出と融合を正確に制御するための 2 レベルの融合メカニズムを設計します。
このフレームワークの適応性は、動的な構造の最適化を可能にする AutoML 技術を適用することでさらに強化されます。
著者の知る限り、私たちの M3oE は、マルチドメイン マルチタスクの推奨事項を自己適応的に解決する最初の取り組みです。
さまざまなベースラインに対する 2 つのベンチマーク データセットに関する広範な実験により、M3oE の優れたパフォーマンスが実証されました。
再現性を確保するために実装コードが利用可能です。

要約(オリジナル)

Multi-domain recommendation and multi-task recommendation have demonstrated their effectiveness in leveraging common information from different domains and objectives for comprehensive user modeling. Nonetheless, the practical recommendation usually faces multiple domains and tasks simultaneously, which cannot be well-addressed by current methods. To this end, we introduce M3oE, an adaptive multi-domain multi-task mixture-of-experts recommendation framework. M3oE integrates multi-domain information, maps knowledge across domains and tasks, and optimizes multiple objectives. We leverage three mixture-of-experts modules to learn common, domain-aspect, and task-aspect user preferences respectively to address the complex dependencies among multiple domains and tasks in a disentangled manner. Additionally, we design a two-level fusion mechanism for precise control over feature extraction and fusion across diverse domains and tasks. The framework’s adaptability is further enhanced by applying AutoML technique, which allows dynamic structure optimization. To the best of the authors’ knowledge, our M3oE is the first effort to solve multi-domain multi-task recommendation self-adaptively. Extensive experiments on two benchmark datasets against diverse baselines demonstrate M3oE’s superior performance. The implementation code is available to ensure reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google