Improving Performance of Commercially Available AI Products in a Multi-Agent Configuration

要約

近年、大規模言語モデル (LLM) の急速な進歩により、マルチエージェント システムの実用化がますます可能になってきました。
同時に、ソフトウェア開発業界では、ソフトウェア開発ライフサイクル (SDLC) を改善する、AI を活用した新しいツールが多数開発されてきました。
学術的には、SDLC に対するマルチエージェント システムの役割に多くの注目が払われています。
また、シングル エージェント システムは実世界のアプリケーションで頻繁に検討されてきましたが、市販の市販ツールがマルチ エージェント システムで連携して測定可能な改善をもたらした実例は比較的少数です。
この実験では、AI を使用してソフトウェア要件を生成するツールである Crowdbotics PRD AI と、AI ペア プログラミング ツールである GitHub Copilot の間のコンテキスト共有をテストします。
PRD AI からのビジネス要件を共有することで、GitHub Copilot のコード提案機能が 13.8% 向上し、開発者タスクの成功率が 24.5% 向上しました。これは、市販の AI システムが連携して成果が向上した実際の例を示しています。

要約(オリジナル)

In recent years, with the rapid advancement of large language models (LLMs), multi-agent systems have become increasingly more capable of practical application. At the same time, the software development industry has had a number of new AI-powered tools developed that improve the software development lifecycle (SDLC). Academically, much attention has been paid to the role of multi-agent systems to the SDLC. And, while single-agent systems have frequently been examined in real-world applications, we have seen comparatively few real-world examples of publicly available commercial tools working together in a multi-agent system with measurable improvements. In this experiment we test context sharing between Crowdbotics PRD AI, a tool for generating software requirements using AI, and GitHub Copilot, an AI pair-programming tool. By sharing business requirements from PRD AI, we improve the code suggestion capabilities of GitHub Copilot by 13.8% and developer task success rate by 24.5% — demonstrating a real-world example of commercially-available AI systems working together with improved outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google