Accurately Predicting Probabilities of Safety-Critical Rare Events for Intelligent Systems

要約

インテリジェント システムは私たちの日常生活にますます不可欠になっていますが、まれに安全性が重要なイベントが発生すると、その実際の導入に対して重大な潜在的な脅威が生じます。
この課題に対処するには、現在の状態から一定の時間ステップ内で安全上重要なイベントが発生する確率を正確に予測することが重要であり、これを当社が「臨界度」と定義します。
臨界度の予測の複雑さは、まれなイベントに関連する高次元変数のまれなイベントによって引き起こされる極端なデータの不均衡から生じます。これを私たちは希少性の呪いと呼んでいます。
既存の手法は過度に保守的であるか、安全上重要なイベントが見落とされる傾向があるため、高い精度と再現率の両方を達成するのに苦労しており、その適用性が大幅に制限されています。
この研究では、セーフティクリティカルな自律システムの臨界度を評価するための、精度と再現率の両方に優れた臨界度予測モデルの開発を目指しています。
私たちは、データセットを段階的に高密度化し、段階にわたる希少性の呪いを軽減するように設計された多段階学習フレームワークを提案します。
私たちのアプローチを検証するために、月着陸船と二足歩行者のシナリオという 2 つのケースで評価します。
結果は、私たちの方法が従来のアプローチを上回り、インテリジェントシステムの重要性のより正確で信頼性の高い評価を提供することを示しています。

要約(オリジナル)

Intelligent systems are increasingly integral to our daily lives, yet rare safety-critical events present significant latent threats to their practical deployment. Addressing this challenge hinges on accurately predicting the probability of safety-critical events occurring within a given time step from the current state, a metric we define as ‘criticality’. The complexity of predicting criticality arises from the extreme data imbalance caused by rare events in high dimensional variables associated with the rare events, a challenge we refer to as the curse of rarity. Existing methods tend to be either overly conservative or prone to overlooking safety-critical events, thus struggling to achieve both high precision and recall rates, which severely limits their applicability. This study endeavors to develop a criticality prediction model that excels in both precision and recall rates for evaluating the criticality of safety-critical autonomous systems. We propose a multi-stage learning framework designed to progressively densify the dataset, mitigating the curse of rarity across stages. To validate our approach, we evaluate it in two cases: lunar lander and bipedal walker scenarios. The results demonstrate that our method surpasses traditional approaches, providing a more accurate and dependable assessment of criticality in intelligent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google