Towards Adaptive Software Agents for Debugging

要約

複数のエージェントを使用すると、大規模な言語モデルのデバッグ機能が改善されました。
ただし、LLMエージェントの数を増やすと、ランニングコストの増加やエージェントが集中力を失うリスクを高めるなど、いくつかの欠点があります。
この作業では、適応エージェント設計を提案します。この設計では、エージェントの数とその役割が達成されるタスクの特性に基づいて動的に決定されます。
この設計では、エージェントの役割は事前に定義されていませんが、解決する問題を分析した後に生成されます。
私たちの最初の評価は、適応設計により、生成されるエージェントの数はバギーコードの複雑さに依存することを示しています。
実際、単なる構文の問題を抱える単純なコードの場合、問題は通常1つのエージェントのみを使用して修正されました。
ただし、より複雑な問題については、より多くのエージェントの作成に気付きました。
修正の有効性に関して、ワンショットプロンプトと比較して、平均11％の改善に気付きました。
これらの有望な結果を考慮して、将来の研究の方向性を概説して、ソフトウェアの目標を自律的に計画および実施できる適応ソフトウェアエージェントの設計を改善します。

要約(オリジナル)

Using multiple agents was found to improve the debugging capabilities of Large Language Models. However, increasing the number of LLM-agents has several drawbacks such as increasing the running costs and rising the risk for the agents to lose focus. In this work, we propose an adaptive agentic design, where the number of agents and their roles are determined dynamically based on the characteristics of the task to be achieved. In this design, the agents roles are not predefined, but are generated after analyzing the problem to be solved. Our initial evaluation shows that, with the adaptive design, the number of agents that are generated depends on the complexity of the buggy code. In fact, for simple code with mere syntax issues, the problem was usually fixed using one agent only. However, for more complex problems, we noticed the creation of a higher number of agents. Regarding the effectiveness of the fix, we noticed an average improvement of 11% compared to the one-shot prompting. Given these promising results, we outline future research directions to improve our design for adaptive software agents that can autonomously plan and conduct their software goals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google