GoNoGo: An Efficient LLM-based Multi-Agent System for Streamlining Automotive Software Release Decision-Making

要約

自動車業界でソフトウェア導入に関する意思決定を行う従来の方法は、通常、表形式のソフトウェア テスト データの手動分析に依存しています。
これらの方法は、多くの場合、労働集約的な性質のため、コストの上昇やソフトウェアのリリース サイクルの遅延につながります。
大規模言語モデル (LLM) は、これらの課題に対する有望な解決策を提供します。
ただし、そのアプリケーションでは一般に、人による迅速なエンジニアリングを複数回行う必要があるため、特に信頼性が高く効率的な結果を必要とする産業用エンドユーザーにとっては、実際の展開が制限されます。
このペーパーでは、機能要件と実際の産業上の制約の両方を満たしながら、車載ソフトウェアの導入を合理化するように設計された LLM エージェント システムである GoNoGo を提案します。
以前のシステムとは異なり、GoNoGo は、ドメイン固有のリスクに敏感なシステムに対処するために特別に調整されています。
業界の実践から得られたゼロショットと少数ショットの例を使用して、さまざまなタスクの難易度にわたる GoNoGo のパフォーマンスを評価します。
私たちの結果は、GoNoGo が 3 ショットの例でレベル 2 までの難易度までのタスクで 100% の成功率を達成し、より複雑なタスクでも高いパフォーマンスを維持することを示しています。
GoNoGo は単純なタスクの意思決定を効果的に自動化し、手動介入の必要性を大幅に削減することがわかりました。
要約すると、GoNoGo は、ソフトウェア リリースの意思決定を支援するために当社の産業パートナーの会社で現在採用されている、効率的でユーザー フレンドリーな LLM ベースのソリューションであり、リスクに敏感な車両システムのリリース プロセスにおいて、より多くの情報に基づいたタイムリーな意思決定をサポートします。

要約(オリジナル)

Traditional methods for making software deployment decisions in the automotive industry typically rely on manual analysis of tabular software test data. These methods often lead to higher costs and delays in the software release cycle due to their labor-intensive nature. Large Language Models (LLMs) present a promising solution to these challenges. However, their application generally demands multiple rounds of human-driven prompt engineering, which limits their practical deployment, particularly for industrial end-users who need reliable and efficient results. In this paper, we propose GoNoGo, an LLM agent system designed to streamline automotive software deployment while meeting both functional requirements and practical industrial constraints. Unlike previous systems, GoNoGo is specifically tailored to address domain-specific and risk-sensitive systems. We evaluate GoNoGo’s performance across different task difficulties using zero-shot and few-shot examples taken from industrial practice. Our results show that GoNoGo achieves a 100% success rate for tasks up to Level 2 difficulty with 3-shot examples, and maintains high performance even for more complex tasks. We find that GoNoGo effectively automates decision-making for simpler tasks, significantly reducing the need for manual intervention. In summary, GoNoGo represents an efficient and user-friendly LLM-based solution currently employed in our industrial partner’s company to assist with software release decision-making, supporting more informed and timely decisions in the release process for risk-sensitive vehicle systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google