A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery

要約

多くの科学分野において、大規模言語モデル (LLM) は、テキストやその他のデータ形式 (分子やタンパク質など) の処理方法に革命をもたらし、さまざまなアプリケーションで優れたパフォーマンスを達成し、科学的発見のプロセスを強化しました。
それにもかかわらず、科学的 LLM に関するこれまでの調査は、1 つまたは 2 つの分野、または 1 つのモダリティに集中していることがよくあります。
この論文では、科学 LLM のアーキテクチャと事前トレーニング技術に関する分野間およびモーダルを越えた接続を明らかにすることで、研究状況のより全体的な視点を提供することを目的としています。
この目的を達成するために、私たちは 250 を超える科学 LLM を包括的に調査し、それらの共通点と相違点を議論し、各分野およびモダリティの事前トレーニング データセットと評価タスクを要約します。
さらに、科学的発見に利益をもたらすために LLM がどのように導入されているかを調査します。
この調査に関連するリソースは、https://github.com/yuzhimanhua/Awesome-Scientific-Language-Models で入手できます。

要約(オリジナル)

In many scientific fields, large language models (LLMs) have revolutionized the way text and other modalities of data (e.g., molecules and proteins) are handled, achieving superior performance in various applications and augmenting the scientific discovery process. Nevertheless, previous surveys on scientific LLMs often concentrate on one or two fields or a single modality. In this paper, we aim to provide a more holistic view of the research landscape by unveiling cross-field and cross-modal connections between scientific LLMs regarding their architectures and pre-training techniques. To this end, we comprehensively survey over 250 scientific LLMs, discuss their commonalities and differences, as well as summarize pre-training datasets and evaluation tasks for each field and modality. Moreover, we investigate how LLMs have been deployed to benefit scientific discovery. Resources related to this survey are available at https://github.com/yuzhimanhua/Awesome-Scientific-Language-Models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google