Predictive Models in Sequential Recommendations: Bridging Performance Laws with Data Quality Insights

要約

逐次推奨 (SR) は、ユーザーの逐次的な好みを予測する上で重要な役割を果たします。
SR モデルはさまざまな業界で注目を集めていますが、その規模が増大すると、膨大な計算コストと予測不可能性が発生し、開発者はリソースを効率的に管理することが困難になります。
この苦境の下、スケーリング則は、モデルがスケールアップする際の損失を調べることで大きな成功を収めました。
ただし、損失とモデルのパフォーマンスの間には依然として差があり、実際のアプリケーションではこれがより大きな懸念事項となります。
さらに、データは拡大し続けるため、反復的で非効率なデータが組み込まれます。
これに応えて、SR モデルのパフォーマンス則を導入します。これは、モデルのパフォーマンスとデータ品質の関係を理論的に調査し、モデル化することを目的としています。
具体的には、まず HR および NDCG メトリクスをトランスベースの SR モデルに適合させます。
続いて、データ品質を評価するための近似エントロピー (ApEn) を提案し、従来のデータ量メトリックと比較してより微妙なアプローチを提示します。
私たちの手法は、さまざまなデータセット規模とモデルサイズにわたって正確な予測を可能にし、大規模な SR モデルでの強い相関を実証し、特定のモデル構成で最適なパフォーマンスを達成するための洞察を提供します。

要約(オリジナル)

Sequential Recommendation (SR) plays a critical role in predicting users’ sequential preferences. Despite its growing prominence in various industries, the increasing scale of SR models incurs substantial computational costs and unpredictability, challenging developers to manage resources efficiently. Under this predicament, Scaling Laws have achieved significant success by examining the loss as models scale up. However, there remains a disparity between loss and model performance, which is of greater concern in practical applications. Moreover, as data continues to expand, it incorporates repetitive and inefficient data. In response, we introduce the Performance Law for SR models, which aims to theoretically investigate and model the relationship between model performance and data quality. Specifically, we first fit the HR and NDCG metrics to transformer-based SR models. Subsequently, we propose Approximate Entropy (ApEn) to assess data quality, presenting a more nuanced approach compared to traditional data quantity metrics. Our method enables accurate predictions across various dataset scales and model sizes, demonstrating a strong correlation in large SR models and offering insights into achieving optimal performance for any given model configuration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google