LLMs for Science: Usage for Code Generation and Data Analysis

要約

大規模言語モデル (LLM) は、今日の仕事生活の多くの分野で生産性の向上を可能にするものとして宣伝されています。
仕事分野としての科学研究も例外ではありません。科学者の日常業務を支援する LLM ベースのツールの可能性は、分野を超えてよく議論されるトピックになっています。
しかし、私たちはこの研究主題のまさに始まりにすぎません。
LLM の可能性が研究の実践においてどのように実現されるかはまだ不明です。
この研究では、研究プロセスにおける LLM の使用に関する最初の経験的証拠を示します。
私たちは科学研究における LLM ベースのツールの一連の使用例を調査し、現在のツールがどの程度役立つかを評価するための最初の調査を実施しました。
このペーパーでは、アプリケーション コードの生成やデータ分析用のスクリプトの開発など、ソフトウェア エンジニアリングに関連するユースケースについて具体的に報告します。
一見単純なユースケースを調査しましたが、ツールによって結果は大きく異なります。
私たちの結果は、一般的に LLM ベースのツールの将来性を強調していますが、特にこれらのツールが提供する出力の整合性に関して、さまざまな問題も観察しています。

要約(オリジナル)

Large language models (LLMs) have been touted to enable increased productivity in many areas of today’s work life. Scientific research as an area of work is no exception: the potential of LLM-based tools to assist in the daily work of scientists has become a highly discussed topic across disciplines. However, we are only at the very onset of this subject of study. It is still unclear how the potential of LLMs will materialise in research practice. With this study, we give first empirical evidence on the use of LLMs in the research process. We have investigated a set of use cases for LLM-based tools in scientific research, and conducted a first study to assess to which degree current tools are helpful. In this paper we report specifically on use cases related to software engineering, such as generating application code and developing scripts for data analytics. While we studied seemingly simple use cases, results across tools differ significantly. Our results highlight the promise of LLM-based tools in general, yet we also observe various issues, particularly regarding the integrity of the output these tools provide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google