要約
ソフトウェアエンジニアリングにおける複雑な問題を解決する一般的な方法は、問題を複数のサブ問題に分割することです。
これに触発されて、私たちは、ソフトウェア エンジニアリング AI (MASAI) エージェント用のモジュラー アーキテクチャを提案します。MASAI エージェントでは、LLM を利用したさまざまなサブエージェントが、明確に定義された目的と、それらの目的を達成するために調整された戦略でインスタンス化されます。
当社のモジュラー アーキテクチャには、いくつかの利点があります。(1) サブエージェント間でさまざまな問題解決戦略を採用および調整できること、(2) サブエージェントがリポジトリ全体に散在するさまざまなソースから情報を収集できること、(3) 不必要に長い軌跡を回避できること
コストを膨らませ、無関係なコンテキストを追加します。
MASAI により、11 の Python リポジトリからの 300 の GitHub 問題で構成される、人気があり非常に困難な SWE-bench Lite データセットで最高のパフォーマンス (28.33% の解決率) を達成することができました。
私たちは他のエージェント手法と比較した MASAI の包括的な評価を実施し、設計上の決定の効果と MASAI の成功への貢献を分析します。
要約(オリジナル)
A common method to solve complex problems in software engineering, is to divide the problem into multiple sub-problems. Inspired by this, we propose a Modular Architecture for Software-engineering AI (MASAI) agents, where different LLM-powered sub-agents are instantiated with well-defined objectives and strategies tuned to achieve those objectives. Our modular architecture offers several advantages: (1) employing and tuning different problem-solving strategies across sub-agents, (2) enabling sub-agents to gather information from different sources scattered throughout a repository, and (3) avoiding unnecessarily long trajectories which inflate costs and add extraneous context. MASAI enabled us to achieve the highest performance (28.33% resolution rate) on the popular and highly challenging SWE-bench Lite dataset consisting of 300 GitHub issues from 11 Python repositories. We conduct a comprehensive evaluation of MASAI relative to other agentic methods and analyze the effects of our design decisions and their contribution to the success of MASAI.
arxiv情報
| 著者 | Daman Arora,Atharv Sonwane,Nalin Wadhwa,Abhav Mehrotra,Saiteja Utpala,Ramakrishna Bairi,Aditya Kanade,Nagarajan Natarajan |
| 発行日 | 2024-06-17 15:19:51+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google