Task-Driven Detection of Distribution Shifts with Statistical Guarantees for Robot Learning

要約

私たちの目標は、分布外 (OOD) 検出を実行することです。つまり、ロボットが、ロボットのトレーニングに使用された分布とは異なる分布から抽出された環境で動作していることを検出することです。
私たちは、おそらくおおよそ正しい (PAC) ベイズ理論を活用して、トレーニング分布のパフォーマンスに保証された限界を持つポリシーをトレーニングします。
OOD 検出に関する私たちのアイデアは、次の直感に基づいています。テスト環境のパフォーマンス限界の違反は、ロボットが OOD を操作しているという証拠を提供します。
これを、p 値と濃度不等式に基づいた統計手法によって定式化します。
このアプローチは、検出器の偽陽性率と偽陰性率の両方の境界を含む OOD 検出の信頼限界を保証し、タスク駆動型であり、ロボットのパフォーマンスに影響を与える変更のみに敏感です。
私たちは、なじみのない形状や姿勢を持つ物体を使用した把握タスクと、風の乱れやさまざまな障害物密度のある環境で視覚ベースの障害物回避を実行するドローンを使用するためのアプローチを、シミュレーションとハードウェアで実証します。
私たちの例は、ほんの数回のトライアルでタスク駆動型の OOD 検出を実行できることを示しています。

要約(オリジナル)

Our goal is to perform out-of-distribution (OOD) detection, i.e., to detect when a robot is operating in environments drawn from a different distribution than the ones used to train the robot. We leverage Probably Approximately Correct (PAC)-Bayes theory to train a policy with a guaranteed bound on performance on the training distribution. Our idea for OOD detection relies on the following intuition: violation of the performance bound on test environments provides evidence that the robot is operating OOD. We formalize this via statistical techniques based on p-values and concentration inequalities. The approach provides guaranteed confidence bounds on OOD detection including bounds on both the false positive and false negative rates of the detector and is task-driven and only sensitive to changes that impact the robot’s performance. We demonstrate our approach in simulation and hardware for a grasping task using objects with unfamiliar shapes or poses and a drone performing vision-based obstacle avoidance in environments with wind disturbances and varied obstacle densities. Our examples demonstrate that we can perform task-driven OOD detection within just a handful of trials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google