Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT

要約

【タイトル】大規模言語モデル時代における安全性分析：ChatGPTを用いたSTPAの事例研究

【要約】
– 大規模言語モデル（LLM）は、ChatGPTやBERTなど人間に近い会話を行い、知識の多くの領域で詳細で明確な答えを提供するため、新たなAIブームを引き起こしている。
– LLMは、多くのAIアプリケーションドメインに急速に適用されている中、安全性クリティカルシステムのための安全性分析にLLMを活用できるかどうかに興味がある。
– この研究は、ChatGPTを用いた自動緊急ブレーキ（AEB）システムのSystems Theoretic Process Analysis（STPA）の事例研究を行い、LLMを活用した安全性分析を行うことを試みている。
– STPAは、危険分析の最も一般的な技術の1つであり、複雑さや主観性の高さなどの制限があるため、本研究はChatGPTの活用方法を探究している。
– 人間の専門家との相互作用を考慮し、ChatGPTをSTPAに組み込む方法を3つ調査し、比較的結果を明らかにした。
– 今後の研究にあたっての主な課題（例：LLMの信頼性や標準化の必要性）を同定することが本研究の追加の貢献である。

【要点】
– LLMは、人間に近い会話を行い、多くの領域で知識を提供するため、新たなAIブームを引き起こしている。
– 安全性クリティカルシステムのためにLLMを利用した安全性分析についての研究を行うことが本研究の目的である。
– ChatGPTを用いたSTPAの事例研究を行い、ChatGPTが安全性分析にどのように活用できるかを調べた。
– ChatGPTをSTPAに組み込む方法を調査し、人間の専門家との交互作用に基づく3つの方法を提案した。
– ChatGPTを人間の専門家と相互作用させることによって、より良い結果を得ることができることがわかった。
– LLMの信頼性や標準化の必要性など、今後の研究に取り組むべき課題が同定された。

要約(オリジナル)

Large Language Models (LLMs), such as ChatGPT and BERT, are leading a new AI heatwave due to its human-like conversations with detailed and articulate answers across many domains of knowledge. While LLMs are being quickly applied to many AI application domains, we are interested in the following question: Can safety analysis for safety-critical systems make use of LLMs? To answer, we conduct a case study of Systems Theoretic Process Analysis (STPA) on Automatic Emergency Brake (AEB) systems using ChatGPT. STPA, one of the most prevalent techniques for hazard analysis, is known to have limitations such as high complexity and subjectivity, which this paper aims to explore the use of ChatGPT to address. Specifically, three ways of incorporating ChatGPT into STPA are investigated by considering its interaction with human experts: one-off simplex interaction, recurring simplex interaction, and recurring duplex interaction. Comparative results reveal that: (i) using ChatGPT without human experts’ intervention can be inadequate due to reliability and accuracy issues of LLMs; (ii) more interactions between ChatGPT and human experts may yield better results; and (iii) using ChatGPT in STPA with extra care can outperform human safety experts alone, as demonstrated by reusing an existing comparison method with baselines. In addition to making the first attempt to apply LLMs in safety analysis, this paper also identifies key challenges (e.g., trustworthiness concern of LLMs, the need of standardisation) for future research in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI