Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

要約

ファンデーションモデルは、ロボットのトレーニングデータを超えた危険なシナリオ、つまり分散除外（OOD）障害を超えた適切な安全性介入に関する堅牢な高レベルの推論を提供できます。
ただし、大きなビジョンモデルと言語モデルの潜在性が高いため、現在の方法は手動で定義された介入ポリシーに依存して、フォールバックを制定するため、一般化可能で意味的に安全な動きを計画する能力がありません。
これらの課題を克服するために、私たちは要塞を提示します。これは、OODの障害を防ぐために、意味的に安全なフォールバック戦略についてリアルタイムで生成するフレームワークと理由です。
公称操作の頻度が低いため、要塞はマルチモーダル推論者を使用して目標を特定し、故障モードを予測します。
ランタイムモニターがフォールバック応答をトリガーすると、Fortressは、リアルタイムで意味的に安全でない領域を推測および回避しながら、フォールバックの目標に対する計画を迅速に統合します。
ダイナミクスを意識した計画でオープンワールドのマルチモーダル推論を橋渡しすることにより、ハードコーディングされたフォールバックと人間の安全性介入の必要性を排除します。
要塞は、合成ベンチマークと現実世界のAnsymal Robotデータの安全分類精度における遅い推論モデルのオンザフライをアウトパフォームし、シミュレーションのシステムの安全性と計画の成功をさらに改善し、都市ナビゲーションの四極ハードウェアを改善します。

要約(オリジナル)

Foundation models can provide robust high-level reasoning on appropriate safety interventions in hazardous scenarios beyond a robot’s training data, i.e. out-of-distribution (OOD) failures. However, due to the high inference latency of Large Vision and Language Models, current methods rely on manually defined intervention policies to enact fallbacks, thereby lacking the ability to plan generalizable, semantically safe motions. To overcome these challenges we present FORTRESS, a framework that generates and reasons about semantically safe fallback strategies in real time to prevent OOD failures. At a low frequency in nominal operations, FORTRESS uses multi-modal reasoners to identify goals and anticipate failure modes. When a runtime monitor triggers a fallback response, FORTRESS rapidly synthesizes plans to fallback goals while inferring and avoiding semantically unsafe regions in real time. By bridging open-world, multi-modal reasoning with dynamics-aware planning, we eliminate the need for hard-coded fallbacks and human safety interventions. FORTRESS outperforms on-the-fly prompting of slow reasoning models in safety classification accuracy on synthetic benchmarks and real-world ANYmal robot data, and further improves system safety and planning success in simulation and on quadrotor hardware for urban navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google