Towards Fully Autonomous Research Powered by LLMs: Case Study on Simulations

要約

大規模言語モデル (LLM) の出現により、実験プロセスと計算シミュレーションの両方にわたる科学研究の自動化の新たな機会が生まれました。
この研究では、高度な API 統合を通じて、LLM を利用した自律シミュレーション エージェント (ASA) を構築し、実験計画、リモート アップロードとシミュレーションの実行、データ分析からレポートの編集に至るまでの研究プロセス全体を自動化する実現可能性を検討します。
ケーススタディとしてポリマー鎖構造のシミュレーション問題を使用して、GPT-4-Turbo を含むさまざまな LLM を搭載した ASA のパフォーマンスを評価しました。
私たちの調査結果では、ASA-GPT-4o が指定された研究ミッションをほぼ完璧に実行したことが明らかになり、完全な科学調査を自律的に管理する LLM の可能性が強調されました。
概要を示した自動化は、人間の介入なしで最大 20 サイクルまで繰り返し実行でき、大規模な自律研究活動における LLM の可能性を示しています。
さらに、自己検証メカニズムとローカルな注目とグローバルな監視のバランスに焦点を当て、広範なタスクの管理における ASA の本質的な特性について議論しました。

要約(オリジナル)

The advent of Large Language Models (LLMs) has created new opportunities for the automation of scientific research, spanning both experimental processes and computational simulations. This study explores the feasibility of constructing an autonomous simulation agent (ASA) powered by LLM, through sophisticated API integration, to automate the entire research process, from experimental design, remote upload and simulation execution, data analysis, to report compilation. Using a simulation problem of polymer chain conformations as a case study, we assessed the performance of ASAs powered by different LLMs including GPT-4-Turbo. Our findings revealed that ASA-GPT-4o achieved near-flawless execution on designated research missions, underscoring the potential of LLMs to manage complete scientific investigations autonomously. The outlined automation can be iteratively performed up to twenty cycles without human intervention, illustrating the potential of LLMs for large-scale autonomous research endeavors. Additionally, we discussed the intrinsic traits of ASAs in managing extensive tasks, focusing on self-validation mechanisms and the balance between local attention and global oversight.

arxiv情報

著者 Zhihan Liu,Yubo Chai,Jianfeng Li
発行日 2024-09-16 12:02:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, physics.chem-ph パーマリンク