Residual Physics Learning and System Identification for Sim-to-real Transfer of Policies on Buoyancy Assisted Legged Robots

要約

Buoyancy Assisted Lightweight Legged Unit (BALLU) ロボットの軽くて柔らかい特性は、多くの重くて硬いロボットとは異なり、人間が関与する環境で本質的に安全な相互作用を提供する大きな可能性を秘めています。
ただし、それらのユニークで敏感なダイナミクスは、現実の世界で堅牢な制御ポリシーを取得することへの課題を課します。
この作業では、システム識別と新しい残差物理学学習方法である環境ミミック (EnvMimic) を介して、BALLU ロボットの制御ポリシーの堅牢な sim-to-real 転送を示します。
まず、ハードウェア データを収集し、シミュレーション パラメーターを最適化することにより、アクチュエータの非線形ダイナミクスをモデル化します。
標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外力ポリシーをトレーニングし、現実世界の軌跡に一致させます。これにより、残留物理をより忠実にモデル化できます。
シミュレーションの軌跡を実際の軌跡と比較することにより、改善されたシミュレーションの忠実度を分析します。
最後に、改善されたシミュレーターにより、BALLU のハードウェアにうまく展開できる、より優れた歩行と方向転換のポリシーを学習できることを示します。

要約(オリジナル)

The light and soft characteristics of Buoyancy Assisted Lightweight Legged Unit (BALLU) robots have a great potential to provide intrinsically safe interactions in environments involving humans, unlike many heavy and rigid robots. However, their unique and sensitive dynamics impose challenges to obtaining robust control policies in the real world. In this work, we demonstrate robust sim-to-real transfer of control policies on the BALLU robots via system identification and our novel residual physics learning method, Environment Mimic (EnvMimic). First, we model the nonlinear dynamics of the actuators by collecting hardware data and optimizing the simulation parameters. Rather than relying on standard supervised learning formulations, we utilize deep reinforcement learning to train an external force policy to match real-world trajectories, which enables us to model residual physics with greater fidelity. We analyze the improved simulation fidelity by comparing the simulation trajectories against the real-world ones. We finally demonstrate that the improved simulator allows us to learn better walking and turning policies that can be successfully deployed on the hardware of BALLU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google