Large Language Models to the Rescue: Reducing the Complexity in Scientific Workflow Development Using ChatGPT

要約

科学ワークフローシステムは、大規模なデータセットに対する複雑なデータ解析パイプラインを表現し実行するためにますます普及している。これは、再現性、信頼性、および大規模計算クラスタ上での自動並列化による解析のスケーラビリティを提供するためである。しかし、ワークフローの実装は、多くのブラックボックスツールの関与と、その実行に必要な深いインフラスタックのために困難である。同時に、ユーザをサポートするツールは稀であり、利用可能な例の数は古典的なプログラミング言語よりもはるかに少ない。これらの課題を解決するために、我々は大規模言語モデル（LLM）、特にChatGPTが科学的ワークフローを扱う際にユーザをサポートする効率性を調査する。我々は、ワークフローの理解、適応、拡張のためのChatGPTを評価するために、2つの科学的ドメインで3つのユーザスタディを実施した。その結果、LLMはワークフローを効率的に解釈するが、コンポーネントを交換したり、ワークフローを意図的に拡張したりする性能は低いことがわかった。これらの困難なシナリオにおけるLLMの限界を明らかにし、今後の研究の方向性を提案する。

要約(オリジナル)

Scientific workflow systems are increasingly popular for expressing and executing complex data analysis pipelines over large datasets, as they offer reproducibility, dependability, and scalability of analyses by automatic parallelization on large compute clusters. However, implementing workflows is difficult due to the involvement of many black-box tools and the deep infrastructure stack necessary for their execution. Simultaneously, user-supporting tools are rare, and the number of available examples is much lower than in classical programming languages. To address these challenges, we investigate the efficiency of Large Language Models (LLMs), specifically ChatGPT, to support users when dealing with scientific workflows. We performed three user studies in two scientific domains to evaluate ChatGPT for comprehending, adapting, and extending workflows. Our results indicate that LLMs efficiently interpret workflows but achieve lower performance for exchanging components or purposeful workflow extensions. We characterize their limitations in these challenging scenarios and suggest future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL