A Two-Sided Discussion of Preregistration of NLP Research

要約

ヴァン・ミルテンバーグ 他
(2021) は、NLP 研究は事前登録を採用して釣りの遠征を防止し、否定的な結果の公開を促進する必要があることを示唆しています。
額面どおり、これは非常に合理的な提案であり、NLP 研究の多くの方法論的問題を解決しているように見えます。
長所と短所について議論します — 古いものと新しいものがあります。
b) 事前登録は、NLP を確認研究に偏らせる可能性があります。
c) 事前登録は、探索的研究としての再分類を許可しなければならない。
d) 事前登録は出版バイアスを高める可能性があります。
e) 事前登録により旗揚げが増加する可能性がある。
f) 事前登録により、p-ハッキングが増加する可能性があります。
最後に、g) 事前登録により、リスク許容度が低下する可能性があります。
私たちは議論を対話として投げかけ、議論の両面を提示します。

要約(オリジナル)

Van Miltenburg et al. (2021) suggest NLP research should adopt preregistration to prevent fishing expeditions and to promote publication of negative results. At face value, this is a very reasonable suggestion, seemingly solving many methodological problems with NLP research. We discuss pros and cons — some old, some new: a) Preregistration is challenged by the practice of retrieving hypotheses after the results are known; b) preregistration may bias NLP toward confirmatory research; c) preregistration must allow for reclassification of research as exploratory; d) preregistration may increase publication bias; e) preregistration may increase flag-planting; f) preregistration may increase p-hacking; and finally, g) preregistration may make us less risk tolerant. We cast our discussion as a dialogue, presenting both sides of the debate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google