A Survey of Pre-trained Language Models for Processing Scientific Text

要約

科学文書の処理専用の言語モデル (LM) の数は増加しています。
科学 LM (SciLM) の急速な成長に遅れを取らないようにすることは、研究者にとって困難な課題となっています。
現在まで、SciLM に関する包括的な調査は行われておらず、この問題は未解決のままです。
新しい SciLM が絶え間なく登場することを考えると、最先端の SciLM を評価し、それらをどのように比較するかは、ほとんど知られていないままです。
この研究はそのギャップを埋め、さまざまなドメイン、タスク、データセットにわたる SciLM の有効性の広範な分析と、今後の課題についての議論を含む、SciLM の包括的なレビューを提供します。

要約(オリジナル)

The number of Language Models (LMs) dedicated to processing scientific text is on the rise. Keeping pace with the rapid growth of scientific LMs (SciLMs) has become a daunting task for researchers. To date, no comprehensive surveys on SciLMs have been undertaken, leaving this issue unaddressed. Given the constant stream of new SciLMs, appraising the state-of-the-art and how they compare to each other remain largely unknown. This work fills that gap and provides a comprehensive review of SciLMs, including an extensive analysis of their effectiveness across different domains, tasks and datasets, and a discussion on the challenges that lie ahead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google