Reproducibility of Machine Learning: Terminology, Recommendations and Open Issues

要約

再現性は、信頼できる人工知能を提供するために同意する主要な側面の 1 つです。
大まかに言えば、再現性は、同じまたは類似の実験または方法を再現する可能性として定義でき、それによって元の科学者と同じまたは類似の結果が得られます。
これは科学的方法の不可欠な要素であり、関連する主張に対する信頼を得るために不可欠です。
再現性の危機は最近科学者によって認められており、最近の成功の中核にあるモデルの複雑さのために、これはさらに多くの人工知能と機械学習に影響を与えるようです.
人工知能の再現性に関する最近の議論にもかかわらず、多くの技術的問題が見落とされているため、その実用化はまだ不十分です。
この調査では、このトピックに関する現在の文献を批判的にレビューし、未解決の問題を強調しています。
私たちの貢献は 3 倍です。
登場する用語の簡潔な用語のレビューを提案します。
再現性を実現するための既存の推奨事項を収集して体系化し、それらを遵守するための手段を提示します。
最新の機械学習で見過ごされがちな重要な要素を特定し、それらに対する斬新な推奨事項を提供します。
さらに、これらを 2 つの重要なアプリケーション ドメイン、すなわち生物医学および物理的人工知能分野に特化しています。

要約(オリジナル)

Reproducibility is one of the core dimensions that concur to deliver Trustworthy Artificial Intelligence. Broadly speaking, reproducibility can be defined as the possibility to reproduce the same or a similar experiment or method, thereby obtaining the same or similar results as the original scientists. It is an essential ingredient of the scientific method and crucial for gaining trust in relevant claims. A reproducibility crisis has been recently acknowledged by scientists and this seems to affect even more Artificial Intelligence and Machine Learning, due to the complexity of the models at the core of their recent successes. Notwithstanding the recent debate on Artificial Intelligence reproducibility, its practical implementation is still insufficient, also because many technical issues are overlooked. In this survey, we critically review the current literature on the topic and highlight the open issues. Our contribution is three-fold. We propose a concise terminological review of the terms coming into play. We collect and systematize existing recommendations for achieving reproducibility, putting forth the means to comply with them. We identify key elements often overlooked in modern Machine Learning and provide novel recommendations for them. We further specialize these for two critical application domains, namely the biomedical and physical artificial intelligence fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google