Towards Efficient Large Language Models for Scientific Text: A Review

要約

大規模言語モデル (LLM) は、科学を含むさまざまな分野で複雑な情報を処理するための新時代の到来をもたらしました。
科学文献の量が増加することで、これらのモデルは科学的知識を効果的に取得して理解できるようになり、幅広いタスクでのパフォーマンスが向上します。
LLM の能力により、非常に高価な計算リソース、膨大な量のデータ、トレーニング時間が必要になります。
したがって、近年、研究者は科学的 LLM をより手頃な価格にするためのさまざまな方法論を提案しています。
最もよく知られているアプローチは 2 つの方向にあります。
モデルのサイズに重点を置くことも、データの品質を向上させることもできます。
現在まで、これら 2 つのメソッド群の包括的なレビューはまだ行われていません。
この論文では、(I) よりアクセスしやすい科学向け AI ソリューションへの LLM の新たな能力における現在の進歩を要約し、(II) LLM を使用した科学分野向けの手頃な価格のソリューションを開発する課題と機会を調査します。

要約(オリジナル)

Large language models (LLMs) have ushered in a new era for processing complex information in various fields, including science. The increasing amount of scientific literature allows these models to acquire and understand scientific knowledge effectively, thus improving their performance in a wide range of tasks. Due to the power of LLMs, they require extremely expensive computational resources, intense amounts of data, and training time. Therefore, in recent years, researchers have proposed various methodologies to make scientific LLMs more affordable. The most well-known approaches align in two directions. It can be either focusing on the size of the models or enhancing the quality of data. To date, a comprehensive review of these two families of methods has not yet been undertaken. In this paper, we (I) summarize the current advances in the emerging abilities of LLMs into more accessible AI solutions for science, and (II) investigate the challenges and opportunities of developing affordable solutions for scientific domains using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google