Whole-Body Constrained Learning for Legged Locomotion via Hierarchical Optimization

要約

Renforce Learning（RL）は、さまざまな挑戦的な環境にわたる脚のある移動の印象的なパフォーマンスを実証しています。
ただし、SIMからのギャップと説明の欠如により、現実の世界に展開された制約のないRLポリシーは、低摩擦環境での関節の衝突、過剰なトルク、または足の滑りなど、避けられない安全性の問題に依然として悩まされています。
これらの問題は、惑星探査、原子力施設の検査、深海事業など、厳格な安全要件を伴うミッションでの使用法を制限しています。
このペーパーでは、階層的最適化ベースの全身フォロワーを設計します。これにより、ハードとソフトの両方の制約がRLフレームワークに統合され、安全性の保証が改善されてロボットが動きます。
モデルベースの制御の利点を活用すると、当社のアプローチにより、トレーニングまたは展開中のさまざまなタイプのハードおよびソフト制約の定義が可能になります。これにより、ポリシーの微調整が可能になり、SIMからリアルへの転送の課題が緩和されます。
一方、複雑な非構造化環境での移動を扱うとき、RLの堅牢性を保持します。
導入された制約を伴う訓練されたポリシーは、六角形のロボットに展開され、雪に覆われた斜面や階段など、さまざまな屋外環境でテストされ、アプローチの大きな横断性と安全性を示しています。

要約(オリジナル)

Reinforcement learning (RL) has demonstrated impressive performance in legged locomotion over various challenging environments. However, due to the sim-to-real gap and lack of explainability, unconstrained RL policies deployed in the real world still suffer from inevitable safety issues, such as joint collisions, excessive torque, or foot slippage in low-friction environments. These problems limit its usage in missions with strict safety requirements, such as planetary exploration, nuclear facility inspection, and deep-sea operations. In this paper, we design a hierarchical optimization-based whole-body follower, which integrates both hard and soft constraints into RL framework to make the robot move with better safety guarantees. Leveraging the advantages of model-based control, our approach allows for the definition of various types of hard and soft constraints during training or deployment, which allows for policy fine-tuning and mitigates the challenges of sim-to-real transfer. Meanwhile, it preserves the robustness of RL when dealing with locomotion in complex unstructured environments. The trained policy with introduced constraints was deployed in a hexapod robot and tested in various outdoor environments, including snow-covered slopes and stairs, demonstrating the great traversability and safety of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google