Toward Automated Simulation Research Workflow through LLM Prompt Engineering Design

要約

大規模言語モデル (LLM) の出現により、実験プロセスと計算シミュレーションの両方にわたる科学研究を自動化する新たな機会が生まれました。
この研究では、人間が提供した研究計画に従ってシミュレーション研究プロセス全体を自動化するための、迅速なエンジニアリングと自動化されたプログラム設計を通じて、LLM を利用した自律シミュレーション エージェント (ASA) を構築する実現可能性を調査します。
このプロセスには、実験計画、リモート アップロードとシミュレーションの実行、データ分析、レポートの編集が含まれます。
よく研究されたポリマー鎖構造のシミュレーション問題をテスト ケースとして使用し、GPT-4o、Claude-3.5 などのさまざまな LLM を利用した ASA の長いタスクの完了と信頼性を評価しました。私たちの調査結果では、ASA-GPT が次のことを示していることが明らかになりました。
-4o は、指定された研究ミッションでほぼ完璧な実行を達成し、ASA のような手法がシミュレーション研究プロセスの自動化を実現して研究効率を向上させる可能性を強調しました。
概要を示した自動化は、人間の介入なしで最大 20 サイクル繰り返し実行でき、長時間タスクのワークフロー自動化に対する ASA の可能性を示しています。
さらに、自己検証メカニズムと、ローカルな注目とグローバルな監視のバランスに焦点を当て、広範なタスクの管理における ASA の本質的な特性について議論しました。

要約(オリジナル)

The advent of Large Language Models (LLMs) has created new opportunities for the automation of scientific research spanning both experimental processes and computational simulations. This study explores the feasibility of constructing an autonomous simulation agent (ASA) powered by LLMs through prompt engineering and automated program design to automate the entire simulation research process according to a human-provided research plan. This process includes experimental design, remote upload and simulation execution, data analysis, and report compilation. Using a well-studied simulation problem of polymer chain conformations as a test case, we assessed the long-task completion and reliability of ASAs powered by different LLMs, including GPT-4o, Claude-3.5, etc. Our findings revealed that ASA-GPT-4o achieved near-flawless execution on designated research missions, underscoring the potential of methods like ASA to achieve automation in simulation research processes to enhance research efficiency. The outlined automation can be iteratively performed for up to 20 cycles without human intervention, illustrating the potential of ASA for long-task workflow automation. Additionally, we discussed the intrinsic traits of ASA in managing extensive tasks, focusing on self-validation mechanisms, and the balance between local attention and global oversight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google