Pre-registration for Predictive Modeling

要約

予測モデリングにおける再現性と一般化可能性に対する懸念が高まる中、私たちは事前登録を現場に導入する可能性と潜在的な利点を探ります。
機械学習の中核タスクからさまざまな科学的応用まで、予測モデリングは目覚ましい進歩を遂げているにもかかわらず、見落とされている状況要因、データに依存した意思決定、テストデータの意図しない再利用などの課題により、結果の整合性について疑問が生じています。
これらの問題に対処するために、事前登録の実践を説明モデリングから予測モデリングに適応させることを提案します。
予測モデリングにおける現在のベストプラクティスとその限界について議論し、軽量の事前登録テンプレートを導入し、機械学習研究者との定性的研究を提示して、偏った推定を防止し、より信頼性の高い研究結果を促進するための事前登録の有効性について洞察を得る。
最後に、予測モデリングにおいて事前登録が対処できる問題の範囲を調査し、この状況における限界を認識することで終わります。

要約(オリジナル)

Amid rising concerns of reproducibility and generalizability in predictive modeling, we explore the possibility and potential benefits of introducing pre-registration to the field. Despite notable advancements in predictive modeling, spanning core machine learning tasks to various scientific applications, challenges such as overlooked contextual factors, data-dependent decision-making, and unintentional re-use of test data have raised questions about the integrity of results. To address these issues, we propose adapting pre-registration practices from explanatory modeling to predictive modeling. We discuss current best practices in predictive modeling and their limitations, introduce a lightweight pre-registration template, and present a qualitative study with machine learning researchers to gain insight into the effectiveness of pre-registration in preventing biased estimates and promoting more reliable research outcomes. We conclude by exploring the scope of problems that pre-registration can address in predictive modeling and acknowledging its limitations within this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google