Goal2Story: A Multi-Agent Fleet based on Privately Enabled sLLMs for Impacting Mapping on Requirements Elicitation

要約

要件が急速に繰り返されると漂うにつれて、アジャイル開発が支配的なパラダイムになります。
目標主導の要件の誘発（RE）は、適応的な計画と効率的なコラボレーションに絡み合っているため、アジャイルプロジェクト開発における極めて重要でありながら挑戦的なタスクです。
最近、AIエージェントは、利害関係者のために大幅な時間と労力を節約することにより、要件分析をサポートする能力を示しています。
ただし、現在の研究は主に機能的REに焦点を当てており、研究作業は目標からユーザーストーリーへの長い旅を埋めることは報告されていません。
さらに、LLM施設のコストとデータとアイデア保護の必要性を考慮すると、個人ホストの小型LLMをさらに活用する必要があります。
これらの課題に対処するために、目標駆動型REに費用対効果の高いSLLMSを使用するだけでなく、インパクトマッピング（IM）フレームワークを採用するマルチエージェント艦隊であるGoal2storyを提案します。
さらに、対応する目標とプロジェクトコンテキスト情報を備えた1,000を超えるユーザーストーリー（USS）、および半自動データセット構築方法を備えたStorySeekデータセットを紹介します。
評価のために、2つのメトリックを提案しました：事実性ヒット率（FHR）は、生成されたUSSとの間の一貫性をデータセットと品質と一貫性評価（QUACE）と測定して、生成されたUSSの品質を評価します。
実験結果は、Goal2storyが強力なLLMを採用するスーパーエージェントのベースラインパフォーマンスを上回ると同時に、COTおよびエージェントプロファイルによってもたらされる主要なメトリックのパフォーマンスの改善、および潜在的なニーズを特定する際の調査を紹介することを示しています。

要約(オリジナル)

As requirements drift with rapid iterations, agile development becomes the dominant paradigm. Goal-driven Requirements Elicitation (RE) is a pivotal yet challenging task in agile project development due to its heavy tangling with adaptive planning and efficient collaboration. Recently, AI agents have shown promising ability in supporting requirements analysis by saving significant time and effort for stakeholders. However, current research mainly focuses on functional RE, and research works have not been reported bridging the long journey from goal to user stories. Moreover, considering the cost of LLM facilities and the need for data and idea protection, privately hosted small-sized LLM should be further utilized in RE. To address these challenges, we propose Goal2Story, a multi-agent fleet that adopts the Impact Mapping (IM) framework while merely using cost-effective sLLMs for goal-driven RE. Moreover, we introduce a StorySeek dataset that contains over 1,000 user stories (USs) with corresponding goals and project context information, as well as the semi-automatic dataset construction method. For evaluation, we proposed two metrics: Factuality Hit Rate (FHR) to measure consistency between the generated USs with the dataset and Quality And Consistency Evaluation (QuACE) to evaluate the quality of the generated USs. Experimental results demonstrate that Goal2Story outperforms the baseline performance of the Super-Agent adopting powerful LLMs, while also showcasing the performance improvements in key metrics brought by CoT and Agent Profile to Goal2Story, as well as its exploration in identifying latent needs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google