Online Distribution Shift Detection via Recency Prediction

要約

最新の機械学習対応ロボット システムを一か八かのアプリケーションに導入する場合、分布の変化を検出することが重要です。
ただし、分布シフトを検出するための既存の方法のほとんどは、データがストリーミング形式で到着することが多く、非常に高次元である可能性があるロボット環境にはあまり適していません。
この研究では、偽陽性率を保証して分布の変化を検出するオンライン方法を紹介します。つまり、分布の変化がない場合、システムが誤ってアラートを発行する可能性は非常に低いです (確率 $< \epsilon$)。 したがって、発行されるアラートには注意する必要があります。 私たちの方法は、高次元データであっても効率的に検出できるように特別に設計されており、経験的には、実際に低い偽陰性率を維持しながら、現実的なロボット設定で以前の研究と比較して最大 11 倍高速な検出を達成します (実験で分布の変化がある場合は常に) 、私たちのメソッドは実際にアラートを発行します)。 ビジュアル サーボ タスクのシミュレーションとハードウェアの両方でアプローチを実証し、この方法が障害が発生する前に実際にアラートを発行することを示します。

要約(オリジナル)

When deploying modern machine learning-enabled robotic systems in high-stakes applications, detecting distribution shift is critical. However, most existing methods for detecting distribution shift are not well-suited to robotics settings, where data often arrives in a streaming fashion and may be very high-dimensional. In this work, we present an online method for detecting distribution shift with guarantees on the false positive rate – i.e., when there is no distribution shift, our system is very unlikely (with probability $< \epsilon$) to falsely issue an alert; any alerts that are issued should therefore be heeded. Our method is specifically designed for efficient detection even with high dimensional data, and it empirically achieves up to 11x faster detection on realistic robotics settings compared to prior work while maintaining a low false negative rate in practice (whenever there is a distribution shift in our experiments, our method indeed emits an alert). We demonstrate our approach in both simulation and hardware for a visual servoing task, and show that our method indeed issues an alert before a failure occurs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google