Unifying Evaluation of Machine Learning Safety Monitors

要約

重要な自律システムでの機械学習 (ML) の使用が増加するにつれて、ランタイム モニターが開発され、予測エラーを検出し、運用中にシステムを安全な状態に保つようになりました。
モニターは、さまざまな認識タスクと ML モデルを含むさまざまなアプリケーション用に提案されており、特定の評価手順とメトリックがさまざまなコンテキストに使用されています。
このホワイト ペーパーでは、モニターの安全上の利点 (安全ゲイン)、使用後の残りの安全ギャップ (残留ハザード)、およびシステムのパフォーマンスに対するマイナスの影響 (可用性コスト) を表す 3 つの統一された安全指向のメトリックを紹介します。
これらのメトリクスを計算するには、特定の ML 予測が予想される将来の報酬とハザードにどのように影響するかを表す 2 つのリターン関数を定義する必要があります。
3 つのユースケース (分類、ドローン着陸、および自動運転) を使用して、文献からのメトリックを提案されたメトリックでどのように表現できるかを示します。
これらの例に関する実験結果は、さまざまな評価の選択がモニターの知覚パフォーマンスにどのように影響するかを示しています。
私たちの形式主義では、明示的な安全性の仮定を定式化する必要があるため、実行された評価が高レベルのシステム要件に一致することを確認できます。

要約(オリジナル)

With the increasing use of Machine Learning (ML) in critical autonomous systems, runtime monitors have been developed to detect prediction errors and keep the system in a safe state during operations. Monitors have been proposed for different applications involving diverse perception tasks and ML models, and specific evaluation procedures and metrics are used for different contexts. This paper introduces three unified safety-oriented metrics, representing the safety benefits of the monitor (Safety Gain), the remaining safety gaps after using it (Residual Hazard), and its negative impact on the system’s performance (Availability Cost). To compute these metrics, one requires to define two return functions, representing how a given ML prediction will impact expected future rewards and hazards. Three use-cases (classification, drone landing, and autonomous driving) are used to demonstrate how metrics from the literature can be expressed in terms of the proposed metrics. Experimental results on these examples show how different evaluation choices impact the perceived performance of a monitor. As our formalism requires us to formulate explicit safety assumptions, it allows us to ensure that the evaluation conducted matches the high-level system requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google