Reinforcement Learning for Wheeled Mobility on Vertically Challenging Terrain

要約

急な斜面やゴツゴツした岩が含まれる垂直方向に困難な地形でのオフロードナビゲーションは、車輪付きロボットにとって、衝突のない滑らかな軌道を達成するための計画レベルと、横転や立ち往生を避けるための制御レベルの両方で、大きな課題となります。
車輪と地形の相互作用の複雑なモデルを考慮して、シミュレートされた試行錯誤体験を通じて車輪付きモビリティを学習する自動運転車用のエンドツーエンドの強化学習 (RL) システムを開発します。
Chrono マルチフィジックス エンジンに基づいて構築されたカスタム設計のシミュレーターを使用する当社のアプローチでは、近接ポリシー最適化 (PPO) と地形難易度カリキュラムを利用して、報酬関数に基づいてポリシーを洗練し、目標に向けた進歩を促進し、過剰なロールとピッチをペナルティします。
これにより、複雑で高価な運動力学的モデリング、計画、および制御の必要性が回避されます。
さらに、シミュレーターで実験結果を提示し、物理的な Verti-4-Wheeler (V4W) プラットフォームにアプローチを展開し、RL が従来の車輪付きロボットに、垂直方向に困難な地形を移動するというこれまで実現されていなかった可能性を備えられることを実証します。

要約(オリジナル)

Off-road navigation on vertically challenging terrain, involving steep slopes and rugged boulders, presents significant challenges for wheeled robots both at the planning level to achieve smooth collision-free trajectories and at the control level to avoid rolling over or getting stuck. Considering the complex model of wheel-terrain interactions, we develop an end-to-end Reinforcement Learning (RL) system for an autonomous vehicle to learn wheeled mobility through simulated trial-and-error experiences. Using a custom-designed simulator built on the Chrono multi-physics engine, our approach leverages Proximal Policy Optimization (PPO) and a terrain difficulty curriculum to refine a policy based on a reward function to encourage progress towards the goal and penalize excessive roll and pitch angles, which circumvents the need of complex and expensive kinodynamic modeling, planning, and control. Additionally, we present experimental results in the simulator and deploy our approach on a physical Verti-4-Wheeler (V4W) platform, demonstrating that RL can equip conventional wheeled robots with previously unrealized potential of navigating vertically challenging terrain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google