REFORMS: Reporting Standards for Machine Learning Based Science

要約

科学研究では機械学習 (ML) 手法が急増しています。
しかし、これらの方法の採用には、妥当性、再現性、および一般化可能性の失敗が伴いました。
これらの失敗は科学の進歩を妨げ、無効な主張に関する誤った合意につながり、ML に基づく科学の信頼性を損なう可能性があります。
ML 手法は多くの場合、適用され、分野を超えて同様の方法で失敗します。
この観察を動機として、私たちの目標は、ML ベースの科学に関する明確な報告基準を提供することです。
過去の文献の広範なレビューに基づいて、REFORMS チェックリストを提示します ($\textbf{Re}$porting Standards $\textbf{For}$ $\textbf{M}$achine Learning Based $\textbf{S}$cience)
。
これは 32 の質問と一連のガイドラインで構成されています。
REFORMS は、コンピューター サイエンス、データ サイエンス、数学、社会科学、生物医学の分野にわたる 19 人の研究者の合意に基づいて開発されました。
REFORMS は、研究者にとっては研究を設計および実施するとき、査読者にとっては論文を審査するとき、ジャーナルにとっては透明性と再現性の基準を強制するときのリソースとして役立ちます。

要約(オリジナル)

Machine learning (ML) methods are proliferating in scientific research. However, the adoption of these methods has been accompanied by failures of validity, reproducibility, and generalizability. These failures can hinder scientific progress, lead to false consensus around invalid claims, and undermine the credibility of ML-based science. ML methods are often applied and fail in similar ways across disciplines. Motivated by this observation, our goal is to provide clear reporting standards for ML-based science. Drawing from an extensive review of past literature, we present the REFORMS checklist ($\textbf{Re}$porting Standards $\textbf{For}$ $\textbf{M}$achine Learning Based $\textbf{S}$cience). It consists of 32 questions and a paired set of guidelines. REFORMS was developed based on a consensus of 19 researchers across computer science, data science, mathematics, social sciences, and biomedical sciences. REFORMS can serve as a resource for researchers when designing and implementing a study, for referees when reviewing papers, and for journals when enforcing standards for transparency and reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google