On ‘Scientific Debt’ in NLP: A Case for More Rigour in Language Model Pre-Training Research

要約

この証拠に基づいた意見書は、言語モデルの事前トレーニング文献における現在の研究実践を批判します。
ますます優れた事前トレーニング済み言語モデル (PLM) によって最近の急速な進歩がもたらされているにもかかわらず、現在の PLM 研究実践では、適切なアブレーション研究や同等の条件下での異なるモデル間の原則に基づく比較が行われず、モデル改善の可能性のあるさまざまなソースが混同されることがよくあります。
これらの実践では、(i) どのような状況下でどの事前トレーニングアプローチを使用すべきかを理解する能力が不足しています。
(ii) 再現性と単位の割り当てを妨げる。
(iii) 「それぞれの要素が今日の進歩にどのように正確に寄与しているのか?」ということを理解することが難しくなります。
ベースラインである ELMo および GPT-1 に対する BERT の成功を再検討することで適切な例を提供し、ベースラインが同程度に調整されている同等の条件下で、これらのベースライン (およびそのさらに単純なバリアント) がどのように機能するかを示します。
) 実際、BERT と同等以上のパフォーマンスを達成できます。
これらの発見は、モデル改善のさまざまな要因を解きほぐすことで、価値のある新しい洞察がどのように得られるかを示しています。
最後に、この一連の作業を奨励し、奨励し、今日の基盤モデルの進歩を促進する要因をより良く、より体系的に理解するために進歩を加速する方法についての推奨事項を述べます。

要約(オリジナル)

This evidence-based position paper critiques current research practices within the language model pre-training literature. Despite rapid recent progress afforded by increasingly better pre-trained language models (PLMs), current PLM research practices often conflate different possible sources of model improvement, without conducting proper ablation studies and principled comparisons between different models under comparable conditions. These practices (i) leave us ill-equipped to understand which pre-training approaches should be used under what circumstances; (ii) impede reproducibility and credit assignment; and (iii) render it difficult to understand: ‘How exactly does each factor contribute to the progress that we have today?’ We provide a case in point by revisiting the success of BERT over its baselines, ELMo and GPT-1, and demonstrate how — under comparable conditions where the baselines are tuned to a similar extent — these baselines (and even-simpler variants thereof) can, in fact, achieve competitive or better performance than BERT. These findings demonstrate how disentangling different factors of model improvements can lead to valuable new insights. We conclude with recommendations for how to encourage and incentivize this line of work, and accelerate progress towards a better and more systematic understanding of what factors drive the progress of our foundation models today.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google