Rethinking Evaluation Metric for Probability Estimation Models Using Esports Data

要約

確率推定モデルは、天気予報、推奨システム、スポーツ分析など、さまざまな分野で重要な役割を果たしています。
確率を推定するいくつかのモデルのうち、どのモデルが信頼できる確率を与えるかを評価することは、グラウンドトゥルースの確率が利用できないため、困難です。
特定のゲーム状況下での勝率を計算するeスポーツの勝率推定モデルも、確率推定の研究が盛んに行われている分野の一つです。
ただし、以前の研究のほとんどは、識別のパフォーマンスのみを測定できる指標である精度を使用してモデルを評価していました。
本研究では、まず、eスポーツ分野における勝率推定モデルの性能評価指標として使用される精度の代わりとなるブライアースコアと予想校正誤差（ECE）を調査します。
分析に基づいて、確率推定メトリックが持つべき 6 つの優れた特性の観点から、シンプルかつ効果的なメトリックであるバランス スコアと呼ばれる新しいメトリックを提案します。
一般的な条件下では、バランス スコアが、ビニング技術を使用した ECE によって不完全に近似された真の予想されるキャリブレーション誤差の効果的な近似となる可能性があることもわかりました。
シミュレーション研究と実際のゲームのスナップショットデータを使用した広範な評価により、提案された指標をeスポーツの勝利確率推定モデルだけでなく、一般的な確率推定モデルの評価にも採用できる有望な可能性が実証されました。

要約(オリジナル)

Probability estimation models play an important role in various fields, such as weather forecasting, recommendation systems, and sports analysis. Among several models estimating probabilities, it is difficult to evaluate which model gives reliable probabilities since the ground-truth probabilities are not available. The win probability estimation model for esports, which calculates the win probability under a certain game state, is also one of the fields being actively studied in probability estimation. However, most of the previous works evaluated their models using accuracy, a metric that only can measure the performance of discrimination. In this work, we firstly investigate the Brier score and the Expected Calibration Error (ECE) as a replacement of accuracy used as a performance evaluation metric for win probability estimation models in esports field. Based on the analysis, we propose a novel metric called Balance score which is a simple yet effective metric in terms of six good properties that probability estimation metric should have. Under the general condition, we also found that the Balance score can be an effective approximation of the true expected calibration error which has been imperfectly approximated by ECE using the binning technique. Extensive evaluations using simulation studies and real game snapshot data demonstrate the promising potential to adopt the proposed metric not only for the win probability estimation model for esports but also for evaluating general probability estimation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google