Sample-Efficient Safety Assurances using Conformal Prediction

要約

一か八かのロボット工学アプリケーションに機械学習モデルを導入する場合、危険な状況を検出する機能が重要です。
早期警告システムは、危険な状況が差し迫っているとき (是正措置がない場合) に警告を発します。
安全性を確実に向上させるために、これらの警告システムには証明可能な偽陰性率が必要です。
つまり、安全でない状況のうち、アラートが発生しない状況は $\epsilon$ 未満です。
この研究では、わずか $1/ を使用して $\epsilon$ 偽陰性率を証明できるように警告システムを調整するために、共形予測として知られる統計的推論手法とロボット/環境ダイナミクスのシミュレーターを組み合わせたフレームワークを紹介します。
\epsilon$ データポイント。
私たちはフレームワークをドライバー警告システムとロボットによる掴みアプリケーションに適用し、保証された偽陰性率を実証するとともに、低い誤検出 (陽性) 率も観察します。

要約(オリジナル)

When deploying machine learning models in high-stakes robotics applications, the ability to detect unsafe situations is crucial. Early warning systems can provide alerts when an unsafe situation is imminent (in the absence of corrective action). To reliably improve safety, these warning systems should have a provable false negative rate; i.e. of the situations that are unsafe, fewer than $\epsilon$ will occur without an alert. In this work, we present a framework that combines a statistical inference technique known as conformal prediction with a simulator of robot/environment dynamics, in order to tune warning systems to provably achieve an $\epsilon$ false negative rate using as few as $1/\epsilon$ data points. We apply our framework to a driver warning system and a robotic grasping application, and empirically demonstrate guaranteed false negative rate while also observing low false detection (positive) rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google