System Safety Monitoring of Learned Components Using Temporal Metric Forecasting

要約

学習可能な自律システムでは、システムの動作コンテキストを考慮して、その出力がシステムの安全性違反につながらないようにするために、学習したコンポーネントの安全性を監視することが重要です。
ただし、実際のアプリケーションに実際に導入するための安全モニターを開発するのは困難です。
これは、学習されたコンポーネントの内部動作およびトレーニング データへのアクセスが制限されているためです。
さらに、安全モニターは、適切な量の計算を消費しながら、低遅延で安全違反を予測する必要があります。
この課題に対処するために、私たちは確率的時系列予測に基づいた安全監視手法を提案します。
学習されたコンポーネントの出力と運用コンテキストを考慮して、さまざまな深層学習 (DL) ベースの確率的予測を経験的に調査し、安全要件の満足または違反を捕捉する客観的な尺度 (安全指標) を予測します。
私たちは、自律飛行と自動運転のケーススタディを使用して、さまざまな視野を持つ 4 つの最先端モデルの安全指標と違反予測精度、推論遅延とリソース使用量を実証的に評価します。
私たちの結果は、学習されたコンポーネントの出力とシナリオを考慮した安全指標の確率的予測が安全監視に効果的であることを示唆しています。
さらに、どちらのケース スタディでも、許容可能な遅延とリソース消費を備えた、差し迫った安全違反を予測するための最も正確なモデルは、Temporal Fusion Transformer (TFT) でした。

要約(オリジナル)

In learning-enabled autonomous systems, safety monitoring of learned components is crucial to ensure their outputs do not lead to system safety violations, given the operational context of the system. However, developing a safety monitor for practical deployment in real-world applications is challenging. This is due to limited access to internal workings and training data of the learned component. Furthermore, safety monitors should predict safety violations with low latency, while consuming a reasonable amount of computation. To address the challenges, we propose a safety monitoring method based on probabilistic time series forecasting. Given the learned component outputs and an operational context, we empirically investigate different Deep Learning (DL)-based probabilistic forecasting to predict the objective measure capturing the satisfaction or violation of a safety requirement (safety metric). We empirically evaluate safety metric and violation prediction accuracy, and inference latency and resource usage of four state-of-the-art models, with varying horizons, using autonomous aviation and autonomous driving case studies. Our results suggest that probabilistic forecasting of safety metrics, given learned component outputs and scenarios, is effective for safety monitoring. Furthermore, for both case studies, Temporal Fusion Transformer (TFT) was the most accurate model for predicting imminent safety violations, with acceptable latency and resource consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google