Gameplay Filters: Safe Robot Walking through Adversarial Imagination

要約

脚式ロボットが広く普及するには、不確実で新たな環境において脚式ロボットの安全な動作を確保することが重要です。
任意のタスク駆動ポリシーによる安全性の失敗を防ぐことができる安全フィルターの最近の進歩にもかかわらず、脚式ロボットの移動のための既存のソリューションは依然として単純化されたダイナミクスに依存しており、ロボットが事前に定義された安定した歩行から外れる場合に失敗する可能性があります。
この論文では、オフライン ゲーム理論の強化学習を利用して、高次の非線形ダイナミクスに対する非常に堅牢な安全フィルターを合成する一般的なアプローチを紹介します。
このゲームプレイ フィルターは、敵対的な未来を継続的にシミュレートし、将来のゲームを失う原因となる (したがって安全性を侵害する) タスク駆動型のアクションを排除することで、実行時の安全性を維持します。
36 次元の四足歩行ロボットの移動タスクで検証されたこのゲームプレイ安全フィルターは、手動調整やヒューリスティックな設計を必要とせずに、シミュレーションと現実のギャップに対して固有の堅牢性を示します。
物理実験では、引っ張りやモデル化されていない不規則な地形などの摂動下でのゲームプレイ安全フィルターの有効性が実証され、シミュレーション研究では、安全性を損なうことなく計算と保守性をトレードオフする方法が明らかになりました。

要約(オリジナル)

Ensuring the safe operation of legged robots in uncertain, novel environments is crucial to their widespread adoption. Despite recent advances in safety filters that can keep arbitrary task-driven policies from incurring safety failures, existing solutions for legged robot locomotion still rely on simplified dynamics and may fail when the robot is perturbed away from predefined stable gaits. This paper presents a general approach that leverages offline game-theoretic reinforcement learning to synthesize a highly robust safety filter for high-order nonlinear dynamics. This gameplay filter then maintains runtime safety by continually simulating adversarial futures and precluding task-driven actions that would cause it to lose future games (and thereby violate safety). Validated on a 36-dimensional quadruped robot locomotion task, the gameplay safety filter exhibits inherent robustness to the sim-to-real gap without manual tuning or heuristic designs. Physical experiments demonstrate the effectiveness of the gameplay safety filter under perturbations, such as tugging and unmodeled irregular terrains, while simulation studies shed light on how to trade off computation and conservativeness without compromising safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google