A Comprehensive Survey of Evaluation Techniques for Recommendation Systems

要約

レコメンデーション システムの有効性は、オンライン プラットフォームにおけるユーザー エンゲージメントと満足度にとって極めて重要です。
これらのレコメンデーション システムがユーザーの選択にますます影響を与えるにつれ、その評価は単なる技術的なパフォーマンスを超え、ビジネスの成功の中心となります。
このペーパーでは、システム パフォーマンスの異なる側面を捉えるように調整された包括的な一連のメトリクスを導入することで、レコメンデーション システム評価の多面的な性質に対処します。
コンテンツベースの協調フィルタリングメカニズムの精度を定量化する類似性メトリクスと、システムが広範囲かつ適切な範囲のアイテムをどの程度適切に識別するかを測定する候補生成メトリクスについて説明します。
これに続いて、予測された好みの精度を評価する予測メトリック、推奨事項が提示される順序を評価するランキング メトリック、およびシステム パフォーマンスを経済目標に合わせるビジネス メトリックについて詳しく説明します。
私たちのアプローチは、これらのメトリクスとその相互依存性を状況に応じて適用することに重点を置いています。
このペーパーでは、現在の評価手法の長所と限界を特定し、さまざまな指標にわたってレコメンデーション システムを最適化する際に生じる微妙なトレードオフに焦点を当てます。
この文書は、システムのパフォーマンスを向上させるだけでなく、ビジネス目標を前進させるために、これらのメトリクスを選択および解釈するためのフレームワークを提案して締めくくられています。
この取り組みは、研究者や実務家がレコメンデーション システムを批判的に評価するのを支援し、より微妙で効果的で経済的に実行可能なパーソナライゼーション戦略の開発を促進することを目的としています。
私たちのコードは GitHub – https://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systems で入手できます。

要約(オリジナル)

The effectiveness of recommendation systems is pivotal to user engagement and satisfaction in online platforms. As these recommendation systems increasingly influence user choices, their evaluation transcends mere technical performance and becomes central to business success. This paper addresses the multifaceted nature of recommendation system evaluation by introducing a comprehensive suite of metrics, each tailored to capture a distinct aspect of system performance. We discuss similarity metrics that quantify the precision of content-based and collaborative filtering mechanisms, along with candidate generation metrics which measure how well the system identifies a broad yet pertinent range of items. Following this, we delve into predictive metrics that assess the accuracy of forecasted preferences, ranking metrics that evaluate the order in which recommendations are presented, and business metrics that align system performance with economic objectives. Our approach emphasizes the contextual application of these metrics and their interdependencies. In this paper, we identify the strengths and limitations of current evaluation practices and highlight the nuanced trade-offs that emerge when optimizing recommendation systems across different metrics. The paper concludes by proposing a framework for selecting and interpreting these metrics to not only improve system performance but also to advance business goals. This work is to aid researchers and practitioners in critically assessing recommendation systems and fosters the development of more nuanced, effective, and economically viable personalization strategies. Our code is available at GitHub – https://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google