MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents

要約

機械学習研究は、技術の進歩や革新にとって極めて重要であるが、その本質的な複雑さ、実験ペースの遅さ、専門知識の必要性から、しばしば大きな課題に直面する。このような背景から、我々は、大規模言語モデル（LLM）エージェントを用いた研究アイデアの自動生成と実装を通じて、機械学習研究の生産性を向上させるために設計された、新しい体系的なフレームワーク、大規模言語モデルによる自律的機械学習研究（MLR-Copilot）を発表する。このフレームワークは、研究アイデアの生成、実験の実装、実装の実行という3つのフェーズから構成される。まず、既存の研究論文を用いて、LLMを利用したIdeaAgentによって仮説と実験計画を生成する。次に、実装生成フェーズでは、これらの計画を ExperimentAgent を用いて実行ファイルに変換する。このフェーズでは、検索されたプロトタイプコードを活用し、オプションで候補モデルとデータを検索する。最後に、同じくExperimentAgentによって管理される実行フェーズでは、実行可能な研究成果を達成する可能性を高めるために、人間によるフィードバックと反復的なデバッグのためのメカニズムを使って実験を実行する。我々は、5つの機械学習研究タスクで我々のフレームワークを評価し、実験結果は、研究の進歩と革新を促進するフレームワークの可能性を示している。

要約(オリジナル)

Machine learning research, crucial for technological advancements and innovation, often faces significant challenges due to its inherent complexity, slow pace of experimentation, and the necessity for specialized expertise. Motivated by this, we present a new systematic framework, autonomous Machine Learning Research with large language models (MLR-Copilot), designed to enhance machine learning research productivity through the automatic generation and implementation of research ideas using Large Language Model (LLM) agents. The framework consists of three phases: research idea generation, experiment implementation, and implementation execution. First, existing research papers are used to generate hypotheses and experimental plans vis IdeaAgent powered by LLMs. Next, the implementation generation phase translates these plans into executables with ExperimentAgent. This phase leverages retrieved prototype code and optionally retrieves candidate models and data. Finally, the execution phase, also managed by ExperimentAgent, involves running experiments with mechanisms for human feedback and iterative debugging to enhance the likelihood of achieving executable research outcomes. We evaluate our framework on five machine learning research tasks and the experimental results show the framework’s potential to facilitate the research progress and innovations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL