Enforcing safety for vision-based controllers via Control Barrier Functions and Neural Radiance Fields

要約

複雑な環境をナビゲートするために、ロボットは制御のために高次元の視覚的フィードバック (画像など) をますます使用する必要があります。
ただし、制御の決定を行うために高次元の画像データに依存すると、重要な問題が生じます。
特に、ビジュアル フィードバック コントローラーの安全性をどのように証明できるでしょうか?
コントロール バリア関数 (CBF) は、状態フィードバック設定でフィードバック コントローラーの安全性を証明するための強力なツールですが、バリア関数を評価するために将来の観測を予測する必要があるため、CBF は従来、視覚的なフィードバック制御にはあまり適していませんでした。
.
この作業では、ニューラル ラジアンス フィールド (NeRF) の最近の進歩を活用してこの問題を解決します。NeRF は、3D シーンの暗黙的な表現を学習し、以前には見られなかったカメラの視点から画像をレンダリングできるため、CBF ベースの視覚的予測を 1 ステップで提供できます。
コントローラ。
この斬新な組み合わせにより、危険な行動を除外し、介入して安全を維持することができます。
ロボットが危険な行動をとることをうまく防止するリアルタイムシミュレーション実験で、コントローラーの効果を実証します。

要約(オリジナル)

To navigate complex environments, robots must increasingly use high-dimensional visual feedback (e.g. images) for control. However, relying on high-dimensional image data to make control decisions raises important questions; particularly, how might we prove the safety of a visual-feedback controller? Control barrier functions (CBFs) are powerful tools for certifying the safety of feedback controllers in the state-feedback setting, but CBFs have traditionally been poorly-suited to visual feedback control due to the need to predict future observations in order to evaluate the barrier function. In this work, we solve this issue by leveraging recent advances in neural radiance fields (NeRFs), which learn implicit representations of 3D scenes and can render images from previously-unseen camera perspectives, to provide single-step visual foresight for a CBF-based controller. This novel combination is able to filter out unsafe actions and intervene to preserve safety. We demonstrate the effect of our controller in real-time simulation experiments where it successfully prevents the robot from taking dangerous actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google