Towards Automated Safety Requirements Derivation Using Agent-based RAG

要約

自動運転車のユースケースでの安全要件の自動導出を研究し、エージェントベースの検索された生成と組み合わせてLLMを活用します。
事前に訓練されたLLMSを利用して安全分析を支援する従来のアプローチには、通常、ドメイン固有の知識がありません。
既存のRAGアプローチはこの問題に対処しますが、複雑なクエリを処理するときにパフォーマンスが悪化し、最も関連性の高い情報を取得することがますます難しくなります。
これは、安全性に関連するアプリケーションに特に関連しています。
この論文では、エージェントベースのRAGの使用を提案して安全要件を導き出し、取得した情報がクエリにより関連していることを示します。
自動化された運転知覚システムの代表的な例として、自動車標準のドキュメントプールとアポロの事例研究にエージェントベースのアプローチを実装します。
私たちのソリューションは、Apolloデータから抽出された安全要件の質問と回答のデータセットでテストされています。
選択したRAGメトリックのセットを評価すると、デフォルトのRAGメソッドと比較して、エージェントベースのアプローチの利点を提示および議論します。

要約(オリジナル)

We study the automated derivation of safety requirements in a self-driving vehicle use case, leveraging LLMs in combination with agent-based retrieval-augmented generation. Conventional approaches that utilise pre-trained LLMs to assist in safety analyses typically lack domain-specific knowledge. Existing RAG approaches address this issue, yet their performance deteriorates when handling complex queries and it becomes increasingly harder to retrieve the most relevant information. This is particularly relevant for safety-relevant applications. In this paper, we propose the use of agent-based RAG to derive safety requirements and show that the retrieved information is more relevant to the queries. We implement an agent-based approach on a document pool of automotive standards and the Apollo case study, as a representative example of an automated driving perception system. Our solution is tested on a data set of safety requirement questions and answers, extracted from the Apollo data. Evaluating a set of selected RAG metrics, we present and discuss advantages of a agent-based approach compared to default RAG methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google