Dynamic Embedding Size Search with Minimum Regret for Streaming Recommender System

要約

ユーザーとアイテムが継続的に増加するため、静的データセットでトレーニングされた従来のレコメンダー システムは、環境の変化にほとんど適応できません。
高スループットのデータでは、ユーザーの関心のダイナミクスを捉えるためにモデルをタイムリーに更新する必要があり、これがストリーミング レコメンダー システムの出現につながります。
深層学習ベースのレコメンダー システムの普及により、ユーザー、アイテム、その他の特徴を低次元ベクトルで表現するために埋め込み層が広く採用されています。
ただし、同一の静的な埋め込みサイズの設定は、特にストリーミング レコメンデーションの場合、レコメンデーションのパフォーマンスとメモリ コストの観点から最適ではないことが証明されています。
この問題に取り組むために、まずストリーミング モデルの更新プロセスを再考し、動的埋め込みサイズ検索をバンディット問題としてモデル化します。
次に、最適な埋め込みサイズに影響を与える要因を統計の観点から分析し、定量化します。
これに基づいて、ユーザーとユーザーの両方の埋め込みサイズ選択の後悔を最小限に抑える \textbf{D}ynamic \textbf{E}mbedding \textbf{S}ize \textbf{S}earch (\textbf{DESS}) メソッドを提案します。
アイテムの側面を固定しないでください。
理論的には、以前の方法よりも優れたサブリニアリグレス上限が得られます。
4 つの公開データセットに対する 2 つのレコメンデーション タスクにわたる実証結果も、私たちのアプローチがより低いメモリ コストとより高い時間効率で、より優れたストリーミング レコメンデーション パフォーマンスを達成できることを示しています。

要約(オリジナル)

With the continuous increase of users and items, conventional recommender systems trained on static datasets can hardly adapt to changing environments. The high-throughput data requires the model to be updated in a timely manner for capturing the user interest dynamics, which leads to the emergence of streaming recommender systems. Due to the prevalence of deep learning-based recommender systems, the embedding layer is widely adopted to represent the characteristics of users, items, and other features in low-dimensional vectors. However, it has been proved that setting an identical and static embedding size is sub-optimal in terms of recommendation performance and memory cost, especially for streaming recommendations. To tackle this problem, we first rethink the streaming model update process and model the dynamic embedding size search as a bandit problem. Then, we analyze and quantify the factors that influence the optimal embedding sizes from the statistics perspective. Based on this, we propose the \textbf{D}ynamic \textbf{E}mbedding \textbf{S}ize \textbf{S}earch (\textbf{DESS}) method to minimize the embedding size selection regret on both user and item sides in a non-stationary manner. Theoretically, we obtain a sublinear regret upper bound superior to previous methods. Empirical results across two recommendation tasks on four public datasets also demonstrate that our approach can achieve better streaming recommendation performance with lower memory cost and higher time efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google