ISAACS: Iterative Soft Adversarial Actor-Critic for Safety

要約

制御されていない環境にロボットを配備するには、不規則な地形や風の条件など、これまで見たことのないシナリオの下で堅牢に動作する必要があります。
残念ながら、ロバストな最適制御理論による厳密な安全フレームワークは高次元の非線形ダイナミクスにはあまり対応できませんが、より扱いやすい「深い」方法によって計算された制御ポリシーには保証が欠けており、不確実な動作条件に対してロバスト性がほとんど示されない傾向があります。
この研究では、ゲーム理論的な安全分析とシミュレーションにおける敵対的強化学習を組み合わせることで、有限モデリング誤差の影響を受ける一般的な非線形ダイナミクスを備えたロボットシステム用の堅牢な安全保持コントローラーのスケーラブルな合成を可能にする新しいアプローチを導入します。
ソフト アクター – クリティカル スキームに従って、安全性を追求するフォールバック ポリシーが、設計者の不確実性によって許容されるモデル エラーとトレーニングとデプロイメントの不一致の最悪の場合の実現を引き起こすことを目的とした敵対的な「妨害」エージェントと共同トレーニングされます。
学習された制御ポリシーは本質的に安全性を保証するものではありませんが、前方到達可能性ロールアウトに基づいて堅牢な安全性を保証するリアルタイム安全フィルター (またはシールド) を構築するために使用されます。
このシールドは、安全性を無視した制御ポリシーと組み合わせて使用​​でき、安全性の損失につながる可能性のあるタスク主導のアクションを排除します。
私たちは、5D レースカー シミュレーターで学習ベースの安全アプローチを評価し、学習した安全ポリシーを数値的に得られた最適解と比較し、最悪の場合のモデルの不一致に対する提案した安全シールドの堅牢な安全保証を経験的に検証します。

要約(オリジナル)

The deployment of robots in uncontrolled environments requires them to operate robustly under previously unseen scenarios, like irregular terrain and wind conditions. Unfortunately, while rigorous safety frameworks from robust optimal control theory scale poorly to high-dimensional nonlinear dynamics, control policies computed by more tractable ‘deep’ methods lack guarantees and tend to exhibit little robustness to uncertain operating conditions. This work introduces a novel approach enabling scalable synthesis of robust safety-preserving controllers for robotic systems with general nonlinear dynamics subject to bounded modeling error by combining game-theoretic safety analysis with adversarial reinforcement learning in simulation. Following a soft actor-critic scheme, a safety-seeking fallback policy is co-trained with an adversarial ‘disturbance’ agent that aims to invoke the worst-case realization of model error and training-to-deployment discrepancy allowed by the designer’s uncertainty. While the learned control policy does not intrinsically guarantee safety, it is used to construct a real-time safety filter (or shield) with robust safety guarantees based on forward reachability rollouts. This shield can be used in conjunction with a safety-agnostic control policy, precluding any task-driven actions that could result in loss of safety. We evaluate our learning-based safety approach in a 5D race car simulator, compare the learned safety policy to the numerically obtained optimal solution, and empirically validate the robust safety guarantee of our proposed safety shield against worst-case model discrepancy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google