Lessons Learned: Reproducibility, Replicability, and When to Stop

要約

自分自身の研究の再現性を確保するための広範なガイダンスが存在する一方で、自分の研究内での外部研究の再現と複製についてはほとんど議論されていません。
この議論を開始するにあたり、熱帯周期発生を予測するために運用上の製品を再現した経験から教訓を引き出し、再現と複製に関するガイダンスを提供する 2 次元の枠組みを提示します。
1 つの軸でモデルのフィッティングを表し、もう 1 つの軸で推論でのその使用を表す私たちのフレームワークは、データセット、メトリクス、モデル自体という 3 つの重要な側面に基づいて構築されています。
この 2D 平面上で研究の軌跡を評価することで、研究を利用してなされた主張をより適切に伝えることができます。
さらに、このフレームワークを使用して、大気科学におけるベンチマーク データセットの有用性を文脈化します。
私たちの 2 次元フレームワークは、研究者、特に初期のキャリアの研究者が、以前の研究を自分の研究に組み込んで、この文脈で主張できることを知らせるためのツールを提供します。

要約(オリジナル)

While extensive guidance exists for ensuring the reproducibility of one’s own study, there is little discussion regarding the reproduction and replication of external studies within one’s own research. To initiate this discussion, drawing lessons from our experience reproducing an operational product for predicting tropical cyclogenesis, we present a two-dimensional framework to offer guidance on reproduction and replication. Our framework, representing model fitting on one axis and its use in inference on the other, builds upon three key aspects: the dataset, the metrics, and the model itself. By assessing the trajectories of our studies on this 2D plane, we can better inform the claims made using our research. Additionally, we use this framework to contextualize the utility of benchmark datasets in the atmospheric sciences. Our two-dimensional framework provides a tool for researchers, especially early career researchers, to incorporate prior work in their own research and to inform the claims they can make in this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google