Retrieval and Distill: A Temporal Data Shift-Free Paradigm for Online Recommendation System

要約

現在のレコメンデーション システムは、履歴データの分布とオンライン データの分布の間の不一致である時間的データ シフトという深刻な問題によって大きな影響を受けています。
既存のモデルのほとんどは、更新されたデータの利用に焦点を当てており、データのシフトから学習できる、転送可能な一時的なデータのシフトのない情報を見落としています。
我々は、関連の時間的不変性定理を提案します。これは、固定の検索空間が与えられた場合、データと検索空間内のデータとの関係が時間の経過とともに不変であることを示唆しています。
この原理を活用して、シフトするデータを使用してデータシフトのない関連性ネットワークをトレーニングできる検索ベースのレコメンデーション システム フレームワークを設計し、レコメンデーション システムにおける元のモデルの予測パフォーマンスを大幅に向上させました。
ただし、検索ベースのレコメンデーション モデルをオンラインで展開すると、推論時間にかなりのコストがかかることに直面します。
これに対処するために、シフト データを使用して関連性ネットワークからパラメータ化されたモジュールに情報を抽出できる抽出フレームワークをさらに設計しました。
抽出されたモデルは、推論時間の増加を最小限に抑えて、元のモデルと並行してオンラインでデプロイできます。
複数の実際のデータセットに対する広範な実験により、私たちのフレームワークがデータのシフトを利用することで元のモデルのパフォーマンスを大幅に向上させることが実証されました。

要約(オリジナル)

Current recommendation systems are significantly affected by a serious issue of temporal data shift, which is the inconsistency between the distribution of historical data and that of online data. Most existing models focus on utilizing updated data, overlooking the transferable, temporal data shift-free information that can be learned from shifting data. We propose the Temporal Invariance of Association theorem, which suggests that given a fixed search space, the relationship between the data and the data in the search space keeps invariant over time. Leveraging this principle, we designed a retrieval-based recommendation system framework that can train a data shift-free relevance network using shifting data, significantly enhancing the predictive performance of the original model in the recommendation system. However, retrieval-based recommendation models face substantial inference time costs when deployed online. To address this, we further designed a distill framework that can distill information from the relevance network into a parameterized module using shifting data. The distilled model can be deployed online alongside the original model, with only a minimal increase in inference time. Extensive experiments on multiple real datasets demonstrate that our framework significantly improves the performance of the original model by utilizing shifting data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google