Sources of Irreproducibility in Machine Learning: A Review

要約

タイトル：機械学習における再現性の問題：レビュー

要約：
– 概要：多くの機械学習の研究は再現性がない。手法やアルゴリズム、実装に含まれる不確実性による影響が再現性に影響を与える主な要因である。
– 問題：実験デザインによって推定された結論に与える効果を関連づける理論的なフレームワークがない。
– 目的：本論文の目的は、実践的なデータ科学者と研究者が、実験デザインの選択肢が誤った結果につながる可能性があるかどうかを理解し、再現性の実験結果の分析に役立つフレームワークを開発することである。
– 方法：研究文献から報告された機械学習の再現性の要因をリストアップし、科学的方法の段階に基づいて再現性のフレームワークに整理し、それらが実験結果にどのように影響を与えるかを分析する。その例としてモデル比較研究が採用されている。
– 結論：本論文は、機械学習の実験デザインの決定からその推論に至る手法について説明し、フレームワークを提供することで、再現性の問題を解決するための手助けをする。

要約(オリジナル)

Background: Many published machine learning studies are irreproducible. Issues with methodology and not properly accounting for variation introduced by the algorithm themselves or their implementations are attributed as the main contributors to the irreproducibility.Problem: There exist no theoretical framework that relates experiment design choices to potential effects on the conclusions. Without such a framework, it is much harder for practitioners and researchers to evaluate experiment results and describe the limitations of experiments. The lack of such a framework also makes it harder for independent researchers to systematically attribute the causes of failed reproducibility experiments. Objective: The objective of this paper is to develop a framework that enable applied data science practitioners and researchers to understand which experiment design choices can lead to false findings and how and by this help in analyzing the conclusions of reproducibility experiments. Method: We have compiled an extensive list of factors reported in the literature that can lead to machine learning studies being irreproducible. These factors are organized and categorized in a reproducibility framework motivated by the stages of the scientific method. The factors are analyzed for how they can affect the conclusions drawn from experiments. A model comparison study is used as an example. Conclusion: We provide a framework that describes machine learning methodology from experimental design decisions to the conclusions inferred from them.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI