Predictive Models in Sequential Recommendations: Bridging Performance Laws with Data Quality Insights

要約

逐次レコメンデーション(SR)は、ユーザーの逐次的な嗜好を予測する上で重要な役割を果たす。様々な産業でその重要性が増しているにもかかわらず、SRモデルの規模が大きくなるにつれ、かなりの計算コストと予測不可能性が発生し、開発者はリソースを効率的に管理することが難しくなっている。このような苦境の中、モデルのスケールアップに伴う損失を検証することで、スケーリング法則は大きな成功を収めてきました。しかし、損失とモデル性能の間には依然として乖離があり、これは実用的な応用においてより大きな懸念となっている。さらに、データが拡大し続けるにつれて、反復的で非効率なデータが組み込まれる。そこで我々は、SRモデルの性能法則を導入し、モデル性能とデータ品質との関係を理論的に調査し、モデル化することを目的とする。具体的には、まずHRとNDCGメトリクスをトランスフォーマベースのSRモデルに適合させる。その後、データ品質を評価するために近似エントロピー(ApEn)を提案し、従来のデータ量メトリクスと比較してよりニュアンスのあるアプローチを提示する。我々の手法は、様々なデータセットスケールとモデルサイズにわたって正確な予測を可能にし、大規模SRモデルにおける強い相関を実証し、任意のモデル構成に対して最適なパフォーマンスを達成するための洞察を提供する。

要約(オリジナル)

Sequential Recommendation (SR) plays a critical role in predicting users’ sequential preferences. Despite its growing prominence in various industries, the increasing scale of SR models incurs substantial computational costs and unpredictability, challenging developers to manage resources efficiently. Under this predicament, Scaling Laws have achieved significant success by examining the loss as models scale up. However, there remains a disparity between loss and model performance, which is of greater concern in practical applications. Moreover, as data continues to expand, it incorporates repetitive and inefficient data. In response, we introduce the Performance Law for SR models, which aims to theoretically investigate and model the relationship between model performance and data quality. Specifically, we first fit the HR and NDCG metrics to transformer-based SR models. Subsequently, we propose Approximate Entropy (ApEn) to assess data quality, presenting a more nuanced approach compared to traditional data quantity metrics. Our method enables accurate predictions across various dataset scales and model sizes, demonstrating a strong correlation in large SR models and offering insights into achieving optimal performance for any given model configuration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL