What is the Impact of Releasing Code with Publications? Statistics from the Machine Learning, Robotics, and Control Communities

要約

研究出版物のオープンソース化は、研究の再現性と研究コミュニティ全体の科学的進歩を可能にする重要な要素です。
科学のあらゆる分野がより高度なアルゴリズムを開発するにつれて、私たちは複雑な計算ツールボックスへの依存度を高めています。方程式と証明のみを通じて研究アイデアを共有するだけでは、科学の発展を伝えるにはもはや十分ではありません。
過去数年間、いくつかの取り組みが透明性と再現性のある研究の重要性と課題を浮き彫りにしてきました。
コード共有は、このような取り組みにおいて重要な必須事項の 1 つです。
この記事では、コードリリースが科学研究に与える影響を調査し、機械学習、ロボット工学、制御という 3 つの研究コミュニティからの統計を示します。
6 年間 (2016 年から 2021 年) で、機械学習、ロボット工学、制御の主要なカンファレンスでコードを含む論文の割合が少なくとも 2 倍になっていることがわかりました。
さらに、影響力の高い論文は一般にオープンソース コードによってサポートされていました。
一例として、神経情報処理システム会議 (NeurIPS) で最も引用された論文の上位 1% には、一貫してオープンソース コードが含まれていました。
さらに、私たちの分析では、一般的に人気のあるコード リポジトリには論文引用数が多く含まれていることが示されており、これはコード共有と科学研究の影響との結びつきをさらに浮き彫りにしています。
傾向は明るいものですが、私たちはイノベーションを加速する透明性と再現性のある研究に向けた取り組みを推進し、強化し続けたいと考えています。論文とともにコードを公開することが明確な第一歩です。

要約(オリジナル)

Open-sourcing research publications is a key enabler for the reproducibility of studies and the collective scientific progress of a research community. As all fields of science develop more advanced algorithms, we become more dependent on complex computational toolboxes — sharing research ideas solely through equations and proofs is no longer sufficient to communicate scientific developments. Over the past years, several efforts have highlighted the importance and challenges of transparent and reproducible research; code sharing is one of the key necessities in such efforts. In this article, we study the impact of code release on scientific research and present statistics from three research communities: machine learning, robotics, and control. We found that, over a six-year period (2016-2021), the percentages of papers with code at major machine learning, robotics, and control conferences have at least doubled. Moreover, high-impact papers were generally supported by open-source codes. As an example, the top 1% of most cited papers at the Conference on Neural Information Processing Systems (NeurIPS) consistently included open-source codes. In addition, our analysis shows that popular code repositories generally come with high paper citations, which further highlights the coupling between code sharing and the impact of scientific research. While the trends are encouraging, we would like to continue to promote and increase our efforts toward transparent, reproducible research that accelerates innovation — releasing code with our papers is a clear first step.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google