Position Paper: Rethinking Empirical Research in Machine Learning: Addressing Epistemic and Methodological Challenges of Experimentation

要約

我々は、機械学習（ML）における経験的研究に対する一般的ではあるが不完全な理解に対して警告を発し、それが再現不可能な結果をもたらし、発見を信頼できないものにし、この分野の進歩を損なう恐れがある。この憂慮すべき状況を克服するために、我々は、実験的に知識を得る方法の多様性と同時に、いくつかの認識論的限界についてももっと認識することを求める。特に、現在の実証的なML研究のほとんどは、確証的な研究であり、むしろ探索的な研究であるべきだと主張する。

要約(オリジナル)

We warn against a common but incomplete understanding of empirical research in machine learning (ML) that leads to non-replicable results, makes findings unreliable, and threatens to undermine progress in the field. To overcome this alarming situation, we call for more awareness of the plurality of ways of gaining knowledge experimentally but also of some epistemic limitations. In particular, we argue most current empirical ML research is fashioned as confirmatory research while it should rather be considered exploratory.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL