Causal Bayesian Networks for Data-driven Safety Analysis of Complex Systems

要約

特に、システムの世界モデルが知覚入力を処理するために機械学習アルゴリズムに依存している場合、環境と相互作用する安全性が批判的な複雑なシステムの安全な動作が重要な課題をもたらします。
包括的な安全性の議論には、安全性への影響を管理するために、システムを介して障害または機能的不足がどのように伝播し、外部要因と相互作用するかについての知識が必要です。
統計分析アプローチは安全性評価をサポートできますが、連想推論だけでも、安全対策の特定と調査には十分ではありません。
システムの因果的理解と環境との相互作用は、安全性が批判的な複雑なシステムを保護するために重要です。
テストから得られた洞察など、知識を転送および一般化することができ、潜在的な改善の特定を促進します。
この作業では、因果ベイジアンネットワークを使用して安全分析のためのシステムの因果関係をモデル化し、パールの因果推論の枠組みに基づいて因果影響を評価するための措置を提案します。
因果ベイジアンネットワークのアプローチを、確立された断層ツリー分析と比較し、利点と制限を概説します。
特に、適切な因果メトリックを議論するために、断層ツリー分析で一般的に使用される重要性メトリックを基礎として調べます。
評価は、自動化された運転の認識システムの例で実行されます。
全体として、この作業は、データ駆動型および専門家ベースの知識を統合して、オープン環境で動作する複雑なシステムから生じる不確実性を説明できるようにする安全分析における因果的推論のアプローチを提示します。

要約(オリジナル)

Ensuring safe operation of safety-critical complex systems interacting with their environment poses significant challenges, particularly when the system’s world model relies on machine learning algorithms to process the perception input. A comprehensive safety argumentation requires knowledge of how faults or functional insufficiencies propagate through the system and interact with external factors, to manage their safety impact. While statistical analysis approaches can support the safety assessment, associative reasoning alone is neither sufficient for the safety argumentation nor for the identification and investigation of safety measures. A causal understanding of the system and its interaction with the environment is crucial for safeguarding safety-critical complex systems. It allows to transfer and generalize knowledge, such as insights gained from testing, and facilitates the identification of potential improvements. This work explores using causal Bayesian networks to model the system’s causalities for safety analysis, and proposes measures to assess causal influences based on Pearl’s framework of causal inference. We compare the approach of causal Bayesian networks to the well-established fault tree analysis, outlining advantages and limitations. In particular, we examine importance metrics typically employed in fault tree analysis as foundation to discuss suitable causal metrics. An evaluation is performed on the example of a perception system for automated driving. Overall, this work presents an approach for causal reasoning in safety analysis that enables the integration of data-driven and expert-based knowledge to account for uncertainties arising from complex systems operating in open environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google