Agent Laboratory: Using LLM Agents as Research Assistants

要約

歴史的に、科学的発見は長くて費用のかかるプロセスであり、最初の概念から最終結果まで、かなりの時間とリソースを要求していました。
科学的発見を加速し、研究コストを削減し、研究の質を向上させるために、研究プロセス全体を完了できる自律LLMベースのフレームワークであるAgent Laboratoryを紹介します。
このフレームワークは、人間が提供する研究のアイデアを受け入れ、3つの段階を通じて進歩します – 文学的レビュー、実験、レポートライティングは、コードリポジトリや調査レポートを含む包括的な研究アウトプットを作成し、各段階でフィードバックとガイダンスを提供できるようにします。
さまざまな最先端のLLMを導入し、調査に参加し、研究プロセスを導くための人間のフィードバックを提供し、最終論文を評価することにより、複数の研究者にその品質を評価するよう招待します。
（1）O1-Previewが駆動するエージェント研究所は、最高の研究成果を生成します。
（2）生成された機械学習コードは、既存の方法と比較して最先端のパフォーマンスを実現できます。
（3）各段階でフィードバックを提供する人間の関与は、研究の全体的な質を大幅に向上させる。
（4）エージェント研究所は研究費用を大幅に削減し、以前の自律的な研究方法と比較して84％の減少を達成しました。
エージェント研究所が、研究者が低レベルのコーディングと執筆ではなく、創造的なアイデアに向けてより多くの努力を割り当てることができることを願っています。

要約(オリジナル)

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages–literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google