Not All Errors Are Made Equal: A Regret Metric for Detecting System-level Trajectory Prediction Failures

要約

ロボットが人間の周囲で動作する場合、意思決定はデータ駆動型の人間予測モデルにますます依存します。
これらのモデルは分布外の相互作用で予測を誤ることが知られていますが、下流のロボットのパフォーマンスに影響を与えるのは予測誤差のサブセットのみです。
私たちは、このような「システムレベル」の予測失敗を、後悔の数学的概念を介して特徴付けることを提案します。後悔の高い相互作用は、まさに、予測ミスによって閉ループロボットのパフォーマンスが低下した相互作用です。
さらに、異なる展開コンテキスト全体で障害検出を調整し、報酬ベースおよび報酬なし（生成型など）プランナーと互換性のあるリグレスをレンダリングするリグレスの確率的一般化を導入します。
ハードウェア上に展開された自動運転インタラクションとソーシャル ナビゲーション インタラクションのシミュレーションでは、システム レベルの故障メトリックをオフラインで使用して、最先端の生成型人間予測器とロボット プランナーが提供する閉ループの人間とロボットの相互作用を自動的に抽出できることを紹介します。
以前に苦労しました。
さらに、人間による予測変数の微調整中に高後悔データが存在すること自体が、ロボットの再展開パフォーマンスの向上を高度に予測できることもわかりました。
有益ではあるが大幅に小さい高後悔データ (展開データの 23%) を使用した微調整は、展開データセット全体の微調整と競合し、システム レベルの人間とロボットの相互作用の障害を効率的に軽減するための有望な手段であることを示しています。
プロジェクト Web サイト: https://cmu-intentlab.github.io/not-all-errors/

要約(オリジナル)

Robot decision-making increasingly relies on data-driven human prediction models when operating around people. While these models are known to mispredict in out-of-distribution interactions, only a subset of prediction errors impact downstream robot performance. We propose characterizing such ‘system-level’ prediction failures via the mathematical notion of regret: high-regret interactions are precisely those in which mispredictions degraded closed-loop robot performance. We further introduce a probabilistic generalization of regret that calibrates failure detection across disparate deployment contexts and renders regret compatible with reward-based and reward-free (e.g., generative) planners. In simulated autonomous driving interactions and social navigation interactions deployed on hardware, we showcase that our system-level failure metric can be used offline to automatically extract closed-loop human-robot interactions that state-of-the-art generative human predictors and robot planners previously struggled with. We further find that the very presence of high-regret data during human predictor fine-tuning is highly predictive of robot re-deployment performance improvements. Fine-tuning with the informative but significantly smaller high-regret data (23% of deployment data) is competitive with fine-tuning on the full deployment dataset, indicating a promising avenue for efficiently mitigating system-level human-robot interaction failures. Project website: https://cmu-intentlab.github.io/not-all-errors/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google