DTN: Deep Multiple Task-specific Feature Interactions Network for Multi-Task Recommendation

要約

ニューラルベースのマルチタスク学習 (MTL) は、多くのレコメンデーション アプリケーションに適用されて成功しています。
ただし、これらの MTL モデル (MMoE、PLE など) は、最適化中に特徴の相互作用を考慮していませんでした。これは、複雑な高次の特徴を捕捉するために重要であり、現実世界のレコメンダー システムのランキング モデルで広く使用されてきました。
さらに、MTL のさまざまなタスクにわたる機能重要度分析を通じて、同じ機能が MTL の異なるタスク間で大きく異なる重要性を持つ可能性があるという興味深い発散現象を観察しました。
これらの問題に対処するために、新しいモデル構造設計を備えたディープマルチタスク固有の機能相互作用ネットワーク (DTN) を提案します。
DTN は、MTL ネットワークに複数の多様なタスク固有の特徴インタラクション手法とタスク依存ネットワークを導入し、モデルがタスク固有の多様な特徴インタラクション表現を学習できるようにし、一般的なセットアップでの共同表現学習の効率を向上させます。
私たちは DTN を、63 億を超えるサンプルで構成される当社の現実世界の電子商取引推奨データセットに適用しました。その結果、DTN が最先端の MTL モデルを大幅に上回るパフォーマンスを示しました。
さらに、大規模な電子商取引推奨システムでの DTN のオンライン評価中に、現状と比較してクリック数が 3.28%、注文数が 3.10% 増加、GMV (総商品価値) が 2.70% 増加したことが観察されました。
-最先端のMTLモデル。
最後に、公開ベンチマーク データセットに対して行われた広範なオフライン実験により、DTN が推奨事項を超えてさまざまなシナリオに適用でき、ランキング モデルのパフォーマンスが向上することが実証されました。

要約(オリジナル)

Neural-based multi-task learning (MTL) has been successfully applied to many recommendation applications. However, these MTL models (e.g., MMoE, PLE) did not consider feature interaction during the optimization, which is crucial for capturing complex high-order features and has been widely used in ranking models for real-world recommender systems. Moreover, through feature importance analysis across various tasks in MTL, we have observed an interesting divergence phenomenon that the same feature can have significantly different importance across different tasks in MTL. To address these issues, we propose Deep Multiple Task-specific Feature Interactions Network (DTN) with a novel model structure design. DTN introduces multiple diversified task-specific feature interaction methods and task-sensitive network in MTL networks, enabling the model to learn task-specific diversified feature interaction representations, which improves the efficiency of joint representation learning in a general setup. We applied DTN to our company’s real-world E-commerce recommendation dataset, which consisted of over 6.3 billion samples, the results demonstrated that DTN significantly outperformed state-of-the-art MTL models. Moreover, during online evaluation of DTN in a large-scale E-commerce recommender system, we observed a 3.28% in clicks, a 3.10% increase in orders and a 2.70% increase in GMV (Gross Merchandise Value) compared to the state-of-the-art MTL models. Finally, extensive offline experiments conducted on public benchmark datasets demonstrate that DTN can be applied to various scenarios beyond recommendations, enhancing the performance of ranking models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google