ASID: Active Exploration for System Identification in Robotic Manipulation

要約

強化学習などのモデルフリーの制御戦略は、世界の正確なモデルやシミュレーターを必要とせずに制御戦略を学習できる能力を示しています。
これはモデリング要件がないため魅力的ですが、そのような方法はサンプルの効率が悪く、現実世界の多くの領域では非実用的になる可能性があります。
一方、正確なシミュレーターを活用したモデルベースの制御技術は、これらの課題を回避し、大量の安価なシミュレーション データを使用して、現実世界に効果的に移行できるコントローラーを学習できます。
このようなモデルベースの手法の課題は、適切なシミュレーション アセットと物理パラメーターの両方の仕様を必要とする、非常に正確なシミュレーションの要件です。
これには、考慮されているすべての環境に合わせて設計するために多大な人間の労力が必要です。
この研究では、少量の実世界データを活用してシミュレーション モデルを自律的に改良し、実世界に展開できる正確な制御戦略を計画できる学習システムを提案します。
私たちのアプローチは、現実世界に展開されたときに高品質のデータを収集する効果的な探査ポリシーを設計するために、初期の (おそらく不正確な) シミュレータを利用することに大きく依存しています。
我々は、いくつかの困難なロボット操作タスクにおける関節運動、質量、その他の物理パラメータの特定におけるこのパラダイムの有効性を実証し、少量の実世界データだけで効果的なシミュレーションから現実への転送が可能であることを示します。
プロジェクトの Web サイト https://weirdlabuw.github.io/asid

要約(オリジナル)

Model-free control strategies such as reinforcement learning have shown the ability to learn control strategies without requiring an accurate model or simulator of the world. While this is appealing due to the lack of modeling requirements, such methods can be sample inefficient, making them impractical in many real-world domains. On the other hand, model-based control techniques leveraging accurate simulators can circumvent these challenges and use a large amount of cheap simulation data to learn controllers that can effectively transfer to the real world. The challenge with such model-based techniques is the requirement for an extremely accurate simulation, requiring both the specification of appropriate simulation assets and physical parameters. This requires considerable human effort to design for every environment being considered. In this work, we propose a learning system that can leverage a small amount of real-world data to autonomously refine a simulation model and then plan an accurate control strategy that can be deployed in the real world. Our approach critically relies on utilizing an initial (possibly inaccurate) simulator to design effective exploration policies that, when deployed in the real world, collect high-quality data. We demonstrate the efficacy of this paradigm in identifying articulation, mass, and other physical parameters in several challenging robotic manipulation tasks, and illustrate that only a small amount of real-world data can allow for effective sim-to-real transfer. Project website at https://weirdlabuw.github.io/asid

arxiv情報

提供元, 利用サービス

arxiv.jp, Google