Towards Inferential Reproducibility of Machine Learning Research

要約

タイトル：機械学習研究の推論的再現性に向けて

要約：

– 機械学習による評価の信頼性は、複数の繰り返しトレーニングによる評価スコアの一貫性に影響される。
– 評価スコアに影響する生じるノイズの取り除きには、実装レベルでの本来的なノイズやアルゴリズムのノイズ要因とデータ特性の重要な相互作用効果など、多数の要因が存在するため、限られた結論しか得られない。
– 我々は、ノイズを取り除くのではなく、データ特性との相互作用などを含む多くの分散要因を、機械学習の評価の信頼性と有意性の分析に組み込むことを提案する。
– 線形混合効果モデル（LMEM）を使用して評価スコアを分析し、一般化尤度比検定（GLRT）を用いて統計的推論を行う方法を示す。
– VCAにより、ノイズ要因の寄与と信頼性係数の計算を行うことができる。

【重要ポイント】

– 機械学習の研究において、評価スコアには生じるノイズが存在し、そのノイズを取り除くことで有意性を高めようとする傾向がある。
– しかし、ノイズ要因は数多く存在し、それらがデータ特性と相互作用を持つ場合、本来得られる結論の範囲が限定されることがある。
– ノイズを取り除くのではなく、LMEMとGLRTを用いた統計的推論を行うことで、ノイズ要因とデータ特性の相互作用を考慮した分析が可能となる。
– VCAを用いることでノイズ要因の寄与度合いや信頼性係数の計算ができる。

要約(オリジナル)

Reliability of machine learning evaluation — the consistency of observed evaluation scores across replicated model training runs — is affected by several sources of nondeterminism which can be regarded as measurement noise. Current tendencies to remove noise in order to enforce reproducibility of research results neglect inherent nondeterminism at the implementation level and disregard crucial interaction effects between algorithmic noise factors and data properties. This limits the scope of conclusions that can be drawn from such experiments. Instead of removing noise, we propose to incorporate several sources of variance, including their interaction with data properties, into an analysis of significance and reliability of machine learning evaluation, with the aim to draw inferences beyond particular instances of trained models. We show how to use linear mixed effects models (LMEMs) to analyze performance evaluation scores, and to conduct statistical inference with a generalized likelihood ratio test (GLRT). This allows us to incorporate arbitrary sources of noise like meta-parameter variations into statistical significance testing, and to assess performance differences conditional on data properties. Furthermore, a variance component analysis (VCA) enables the analysis of the contribution of noise sources to overall variance and the computation of a reliability coefficient by the ratio of substantial to total variance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI