Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT

要約

安全性分析では大規模言語モデル (LLM) を利用できますか?
ケーススタディでは、ChatGPT を使用した自動緊急ブレーキ (AEB) および電力需要側管理 (DSM) システムに適用されるシステム理論プロセス分析 (STPA) を検討します。
私たちは、コラボレーション スキーム、入力セマンティックの複雑さ、プロンプト ガイドラインが STPA の結果にどのような影響を与えるかを調査します。
比較結果によると、人間の介入なしで ChatGPT を使用するのは、信頼性に関連する問題のため不十分である可能性がありますが、慎重に設計すれば、人間の専門家よりも優れたパフォーマンスを発揮する可能性があります。
入力セマンティックの複雑さを変更した場合、または共通のプロンプト ガイドラインを使用した場合、統計的に有意な差は見つかりませんでした。これは、ドメイン固有のプロンプト エンジニアリングを開発する必要性を示唆しています。
また、LLM の信頼性に関する懸念や、この分野における標準化と規制の必要性など、将来の課題にも焦点を当てます。

要約(オリジナル)

Can safety analysis make use of Large Language Models (LLMs)? A case study explores Systems Theoretic Process Analysis (STPA) applied to Automatic Emergency Brake (AEB) and Electricity Demand Side Management (DSM) systems using ChatGPT. We investigate how collaboration schemes, input semantic complexity, and prompt guidelines influence STPA results. Comparative results show that using ChatGPT without human intervention may be inadequate due to reliability related issues, but with careful design, it may outperform human experts. No statistically significant differences are found when varying the input semantic complexity or using common prompt guidelines, which suggests the necessity for developing domain-specific prompt engineering. We also highlight future challenges, including concerns about LLM trustworthiness and the necessity for standardisation and regulation in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google