Gameplay Filters: Robust Zero-Shot Safety through Adversarial Imagination

要約

学習ベースのロボット制御における最近の目覚ましい進歩にもかかわらず、分布外の状況に対する堅牢性を確保することは依然として未解決の課題です。
安全フィルタは、原則として、安全でないアクションをオーバーライドすることで、任意の制御ポリシーが壊滅的な障害を引き起こすのを防ぐことができますが、複雑な（脚式などの）ロボットのダイナミクスに対する既存のソリューションは、完全な動作エンベロープを網羅しておらず、代わりに局所的な低次数モデルに依存しています。
これらのフィルターは敏捷性を過度に制限する傾向があり、公称条件から外れた場合に障害が発生する可能性があります。
この論文では、ゲームプレイ フィルターについて説明します。これは、シミュレーションでトレーニングされた安全戦略と、最悪の場合のイベントと現実との誤差を引き起こすために一緒にトレーニングされた仮想敵との間の仮説的な一致を継続的に実行し、予測安全フィルターの新しいクラスです。
将来的に失敗する可能性のあるアクション。
我々は、(36-D) 四足ダイナミクス向けのこの種初の全次安全フィルターを使用したアプローチの拡張性と堅牢性を実証します。
2 つの異なる四足プラットフォームでの物理実験により、引っ張りやモデル化されていない地形などの大きな摂動下でのゲームプレイ フィルターの優れたゼロショット効果が実証されました。

要約(オリジナル)

Despite the impressive recent advances in learning-based robot control, ensuring robustness to out-of-distribution conditions remains an open challenge. Safety filters can, in principle, keep arbitrary control policies from incurring catastrophic failures by overriding unsafe actions, but existing solutions for complex (e.g., legged) robot dynamics do not span the full motion envelope and instead rely on local, reduced-order models. These filters tend to overly restrict agility and can still fail when perturbed away from nominal conditions. This paper presents the gameplay filter, a new class of predictive safety filter that continually plays out hypothetical matches between its simulation-trained safety strategy and a virtual adversary co-trained to invoke worst-case events and sim-to-real error, and precludes actions that would cause it to fail down the line. We demonstrate the scalability and robustness of the approach with a first-of-its-kind full-order safety filter for (36-D) quadrupedal dynamics. Physical experiments on two different quadruped platforms demonstrate the superior zero-shot effectiveness of the gameplay filter under large perturbations such as tugging and unmodeled terrain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google