From Variability to Stability: Advancing RecSys Benchmarking Practices

要約

急速に進化するレコメンダー システム (RecSys) の分野では、新しいアルゴリズムが、任意に選択された限られたセットの評価に基づいて最先端のパフォーマンスを主張することがよくあります。
ただし、データセットの特性がアルゴリズムのパフォーマンスに大きく影響するため、このアプローチではその有効性を総合的に反映できない可能性があります。
この欠陥に対処するために、このホワイトペーパーでは、RecSys アルゴリズムの公正かつ堅牢な比較を促進する新しいベンチマーク方法論を導入し、それによって評価実践を前進させます。
この研究で紹介した 2 つを含む、$30$ のオープン データセットの多様なセットを利用し、$9$ のメトリクスにわたって $11$ の協調フィルタリング アルゴリズムを評価することで、データセットの特性がアルゴリズムのパフォーマンスに与える影響を批判的に検査します。
さらに、複数のデータセットからの結果を統合ランキングに集約する実現可能性を調査します。
厳密な実験分析を通じて、データセットの変動のもとで手法の信頼性を検証し、品質と計算要求のバランスをとるベンチマーク戦略を提供します。
この方法論は、RecSys アルゴリズムを評価する公平かつ効果的な手段を可能にし、将来の研究活動に貴重な指針を提供します。

要約(オリジナル)

In the rapidly evolving domain of Recommender Systems (RecSys), new algorithms frequently claim state-of-the-art performance based on evaluations over a limited set of arbitrarily selected datasets. However, this approach may fail to holistically reflect their effectiveness due to the significant impact of dataset characteristics on algorithm performance. Addressing this deficiency, this paper introduces a novel benchmarking methodology to facilitate a fair and robust comparison of RecSys algorithms, thereby advancing evaluation practices. By utilizing a diverse set of $30$ open datasets, including two introduced in this work, and evaluating $11$ collaborative filtering algorithms across $9$ metrics, we critically examine the influence of dataset characteristics on algorithm performance. We further investigate the feasibility of aggregating outcomes from multiple datasets into a unified ranking. Through rigorous experimental analysis, we validate the reliability of our methodology under the variability of datasets, offering a benchmarking strategy that balances quality and computational demands. This methodology enables a fair yet effective means of evaluating RecSys algorithms, providing valuable guidance for future research endeavors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google