SHIELD: Safety on Humanoids via CBFs In Expectation on Learned Dynamics

要約

ロボット学習は、ヒューマノイドの動的運動などの複雑なタスクのために非常に効果的に「ブラックボックス」コントローラーを生成しました。
しかし、動的な安全性、つまり制約の満足度を確保することは、そのようなポリシーに依然として挑戦的です。
RENFERTION LEANING（RL）は、報酬エンジニアリングを通じてヒューリスティックな制約を埋め込み、制約を追加または変更するには再訓練が必要です。
コントロールバリア関数（CBFS）などのモデルベースのアプローチは、正式な保証でランタイム制約仕様を有効にしますが、正確なダイナミクスモデルが必要です。
このペーパーでは、次のことでこのギャップを埋める層状の安全フレームワークであるShieldを紹介します。
（2）確率的な離散時間CBF定式化を介してこのモデルを活用する公称（学習された移動）コントローラーの上に安全層を追加します。
その結果、既存の自律型スタックに追加して、リスクとパフォーマンスのバランスをとる安全性の確率的保証を与えることができる最小限の侵襲的な安全層ができます。
ユニットリーG1ヒューマノイドのハードウェア実験では、シールドを使用して、公称（不明）RLコントローラーとオンボード認識を使用して、さまざまな屋内および屋外環境を通じて安全なナビゲーション（障害物回避）を可能にします。

要約(オリジナル)

Robot learning has produced remarkably effective “black-box” controllers for complex tasks such as dynamic locomotion on humanoids. Yet ensuring dynamic safety, i.e., constraint satisfaction, remains challenging for such policies. Reinforcement learning (RL) embeds constraints heuristically through reward engineering, and adding or modifying constraints requires retraining. Model-based approaches, like control barrier functions (CBFs), enable runtime constraint specification with formal guarantees but require accurate dynamics models. This paper presents SHIELD, a layered safety framework that bridges this gap by: (1) training a generative, stochastic dynamics residual model using real-world data from hardware rollouts of the nominal controller, capturing system behavior and uncertainties; and (2) adding a safety layer on top of the nominal (learned locomotion) controller that leverages this model via a stochastic discrete-time CBF formulation enforcing safety constraints in probability. The result is a minimally-invasive safety layer that can be added to the existing autonomy stack to give probabilistic guarantees of safety that balance risk and performance. In hardware experiments on an Unitree G1 humanoid, SHIELD enables safe navigation (obstacle avoidance) through varied indoor and outdoor environments using a nominal (unknown) RL controller and onboard perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google