Roll-Drop: accounting for observation noise with a single parameter

要約

【タイトル】Roll-Drop: 一つのパラメータで観測ノイズを考慮する

【要約】

・Deep-Reinforcement Learning（DRL）のシミュレーションから実際のロボット応用において、観測ノイズを考慮するためのDropoutを使用するシンプルな戦略の提唱

・DRLは、高い動的性とフィードバック性を持ったロボットを制御するための有望なアプローチであり、正確なシミュレータは、望む動作を学習するための安価で豊富なデータを提供するために不可欠である

・しかし、シミュレートされたデータはノイズがなく、一般的に分布のシフトが生じ、センサー読み取りがノイズに影響を受ける実際のマシンへの展開に挑戦している

・従来の解決策は、後者をモデリングしてトレーニング中に組み込むことであったが、これには徹底的なシステム識別が必要であり、Roll-Dropは単一のパラメータを調整することにより、センサーのノイズに対する堅牢性を向上させる

・我々は、最大25%のノイズが観測に注入された場合に80%の成功率を実証し、ベースラインよりも2倍の堅牢性を示した

・我々は、シミュレーションでトレーニングされたコントローラをUnitree A1プラットフォームに展開し、この改善された堅牢性を物理システムで評価した

要約(オリジナル)

This paper proposes a simple strategy for sim-to-real in Deep-Reinforcement Learning (DRL) — called Roll-Drop — that uses dropout during simulation to account for observation noise during deployment without explicitly modelling its distribution for each state. DRL is a promising approach to control robots for highly dynamic and feedback-based manoeuvres, and accurate simulators are crucial to providing cheap and abundant data to learn the desired behaviour. Nevertheless, the simulated data are noiseless and generally show a distributional shift that challenges the deployment on real machines where sensor readings are affected by noise. The standard solution is modelling the latter and injecting it during training; while this requires a thorough system identification, Roll-Drop enhances the robustness to sensor noise by tuning only a single parameter. We demonstrate an 80% success rate when up to 25% noise is injected in the observations, with twice higher robustness than the baselines. We deploy the controller trained in simulation on a Unitree A1 platform and assess this improved robustness on the physical system.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI