MORPH: Design Co-optimization with Reinforcement Learning via a Differentiable Hardware Model Proxy

要約

強化学習を使用したシミュレーションにおけるハードウェア設計パラメータと制御ポリシーを協調最適化する手法である MORPH を紹介します。
ほとんどの共同最適化手法と同様、MORPH は最適化されるハードウェアのモデルに依存し、通常は物理法則に基づいてシミュレーションされます。
ただし、このようなモデルを効果的な最適化ルーチンに統合するのは難しいことがよくあります。
これに対処するために、常に微分可能であり、RL を使用した長期的な制御ポリシーと並行して効率的な協調最適化を可能にするプロキシ ハードウェア モデルを導入します。
MORPH は、タスクの完了を可能にしながら、最適化されたハードウェア プロキシが現実の対応物に可能な限り近くなるように設計されています。
シミュレートされた 2D リーチおよび 3D 多指操作タスクに関するアプローチを示します。

要約(オリジナル)

We introduce MORPH, a method for co-optimization of hardware design parameters and control policies in simulation using reinforcement learning. Like most co-optimization methods, MORPH relies on a model of the hardware being optimized, usually simulated based on the laws of physics. However, such a model is often difficult to integrate into an effective optimization routine. To address this, we introduce a proxy hardware model, which is always differentiable and enables efficient co-optimization alongside a long-horizon control policy using RL. MORPH is designed to ensure that the optimized hardware proxy remains as close as possible to its realistic counterpart, while still enabling task completion. We demonstrate our approach on simulated 2D reaching and 3D multi-fingered manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google