Analytical and Empirical Study of Herding Effects in Recommendation Systems

要約

オンライン評価システムは、製品の正確な品質を評価するために、Amazon や TripAdvisor などの多数の Web アプリケーションやモバイル アプリケーションでよく使用されます。
群集効果により、過去の評価の集計 (または過去の集団的意見) がその後の評価に大きな影響を与え、誤解を招く誤った評価につながる可能性があります。
私たちは、評価の誤りを修正する目的で、評価集計ルールと最終候補に選ばれた代表レビューを介して製品の評価を管理する方法を研究します。
まず、製品評価における群集効果の重要な要素を特徴付ける数学的モデルを開発します。
次に、歴史的な集合的意見がユーザー集団全体のグラウンドトゥルースの集合的意見に収束する十分条件を (確率的近似理論を介して) 特定します。
これらの条件は、評価集計ルールのクラスを特定し、真実の製品品質を明らかにできる選択メカニズムをレビューします。
また、評価集計ルールとレビュー選択メカニズムの効率を反映する収束速度も (マーチンゲール理論によって) 定量化します。
私たちは、ハーディング効果が収束の速度を遅くする一方で、正確なレビュー選択メカニズムが収束の速度を速めることができることを証明します。
また、収束の速度を数値的に研究し、評価集計ルールの選択と選択メカニズムのレビューにおけるトレードオフを明らかにします。
私たちのフレームワークの有用性を示すために、評価からモデル パラメーターを推測する最尤アルゴリズムを設計し、Amazon と TripAdvisor の評価データセットで実験を実施します。
最新性を考慮した適切な評価集計ルールにより、Amazon とトリップアドバイザーの統合速度がそれぞれ 41% と 62% 向上することがわかりました。

要約(オリジナル)

Online rating systems are often used in numerous web or mobile applications, e.g., Amazon and TripAdvisor, to assess the ground-truth quality of products. Due to herding effects, the aggregation of historical ratings (or historical collective opinion) can significantly influence subsequent ratings, leading to misleading and erroneous assessments. We study how to manage product ratings via rating aggregation rules and shortlisted representative reviews, for the purpose of correcting the assessment error. We first develop a mathematical model to characterize important factors of herding effects in product ratings. We then identify sufficient conditions (via the stochastic approximation theory), under which the historical collective opinion converges to the ground-truth collective opinion of the whole user population. These conditions identify a class of rating aggregation rules and review selection mechanisms that can reveal the ground-truth product quality. We also quantify the speed of convergence (via the martingale theory), which reflects the efficiency of rating aggregation rules and review selection mechanisms. We prove that the herding effects slow down the speed of convergence while an accurate review selection mechanism can speed it up. We also study the speed of convergence numerically and reveal trade-offs in selecting rating aggregation rules and review selection mechanisms. To show the utility of our framework, we design a maximum likelihood algorithm to infer model parameters from ratings, and conduct experiments on rating datasets from Amazon and TripAdvisor. We show that proper recency aware rating aggregation rules can improve the speed of convergence in Amazon and TripAdvisor by 41% and 62% respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google