Towards Fair and Rigorous Evaluations: Hyperparameter Optimization for Top-N Recommendation Task with Implicit Feedback

要約

インターネットの普及によりデータ量が膨大になり、情報過多が問題となっています。
この問題の解決策として、ユーザーの好みや履歴データに基づいてパーソナライズされた推奨事項を提供するレコメンダー システムが登場しました。
ただし、レコメンデーション モデルがますます複雑になるにつれて、さまざまなモデルに最適なハイパーパラメータの組み合わせを見つけることが課題になっています。
高次元のハイパーパラメータ検索空間は研究者にとって多くの課題を引き起こしており、ハイパーパラメータ設定を開示しないと研究結果の再現性が損なわれる可能性があります。
このペーパーでは、上位 N 暗黙的推奨問題を調査し、ハイパーパラメーター最適化アルゴリズムを使用した比較実験で一般的に使用されるベンチマーク推奨アルゴリズムの最適化に焦点を当てます。
私たちは、公平な比較の原則に従った調査手法を提案します。7 種類のハイパーパラメータ検索アルゴリズムを使用して、3 つのデータセットに対する 6 つの一般的な推奨アルゴリズムを微調整します。
後の研究の参考として、さまざまな種類のデータセットに対するさまざまな推奨アルゴリズムに最適なハイパーパラメータ検索アルゴリズムを特定しました。
この研究は、ハイパーパラメータの最適化に基づくレコメンダー システムのアルゴリズム研究に貢献し、比較のための公正な基礎を提供します。

要約(オリジナル)

The widespread use of the internet has led to an overwhelming amount of data, which has resulted in the problem of information overload. Recommender systems have emerged as a solution to this problem by providing personalized recommendations to users based on their preferences and historical data. However, as recommendation models become increasingly complex, finding the best hyperparameter combination for different models has become a challenge. The high-dimensional hyperparameter search space poses numerous challenges for researchers, and failure to disclose hyperparameter settings may impede the reproducibility of research results. In this paper, we investigate the Top-N implicit recommendation problem and focus on optimizing the benchmark recommendation algorithm commonly used in comparative experiments using hyperparameter optimization algorithms. We propose a research methodology that follows the principles of a fair comparison, employing seven types of hyperparameter search algorithms to fine-tune six common recommendation algorithms on three datasets. We have identified the most suitable hyperparameter search algorithms for various recommendation algorithms on different types of datasets as a reference for later study. This study contributes to algorithmic research in recommender systems based on hyperparameter optimization, providing a fair basis for comparison.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google