Robustness investigation of quality measures for the assessment of machine learning models

要約

この論文では、機械学習モデルの評価のための品質尺度の精度と堅牢性が調査されます。
機械学習モデルの予測品質は、交差検証アプローチに基づいてモデルに依存せずに評価され、未知のデータに対する近似誤差が推定されます。
提示された測定値は、モデル予測における説明された変動の量を定量化します。
これらの測定の信頼性は、推定された予測誤差を検証するための追加のデータセットが利用可能ないくつかの数値例によって評価されます。
さらに、提示された品質尺度の信頼限界が推定され、相互検証アプローチによって得られた予測残差から局所的な品質尺度が導出されます。

要約(オリジナル)

In this paper the accuracy and robustness of quality measures for the assessment of machine learning models are investigated. The prediction quality of a machine learning model is evaluated model-independent based on a cross-validation approach, where the approximation error is estimated for unknown data. The presented measures quantify the amount of explained variation in the model prediction. The reliability of these measures is assessed by means of several numerical examples, where an additional data set for the verification of the estimated prediction error is available. Furthermore, the confidence bounds of the presented quality measures are estimated and local quality measures are derived from the prediction residuals obtained by the cross-validation approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google