C^2:Co-design of Robots via Concurrent Networks Coupling Online and Offline Reinforcement Learning

要約

コンピューティング能力の向上に伴い、データ駆動型のアプローチを使用してロボットの形態とコントローラーを共同設計することが有望な方法となっています。
ただし、既存のデータ駆動型手法のほとんどでは、適応度を計算するために形態ごとにコントローラーをトレーニングする必要があり、時間がかかります。
対照的に、デュアル ネットワーク フレームワークは、特定の形態の下で個々のネットワークによって収集されたデータを利用して、形態最適化の代理関数を提供する母集団ネットワークをトレーニングします。
このアプローチは、多様な候補者セットの従来の評価に代わるものであり、それによってトレーニングがスピードアップされます。
かなりの成果が得られているにもかかわらず、両方のネットワークのオンライン トレーニングがパフォーマンスを妨げています。
この問題に対処するために、オンラインとオフラインの強化学習 (RL) 手法を組み合わせた同時ネットワーク フレームワークを提案します。
動作クローニング用語を柔軟な方法で活用することで、両方のネットワークの効果的な組み合わせを実現します。
シミュレータで複数の比較実験を実施したところ、提案された方法がデュアルネットワークフレームワークに存在する問題に効果的に対処し、全体的なアルゴリズムのパフォーマンスの向上につながることがわかりました。
さらに、実際のロボット上でアルゴリズムを検証し、実用的なアプリケーションでの実現可能性を実証しました。

要約(オリジナル)

With the increasing computing power, using data-driven approaches to co-design a robot’s morphology and controller has become a promising way. However, most existing data-driven methods require training the controller for each morphology to calculate fitness, which is time-consuming. In contrast, the dual-network framework utilizes data collected by individual networks under a specific morphology to train a population network that provides a surrogate function for morphology optimization. This approach replaces the traditional evaluation of a diverse set of candidates, thereby speeding up the training. Despite considerable results, the online training of both networks impedes their performance. To address this issue, we propose a concurrent network framework that combines online and offline reinforcement learning (RL) methods. By leveraging the behavior cloning term in a flexible manner, we achieve an effective combination of both networks. We conducted multiple sets of comparative experiments in the simulator and found that the proposed method effectively addresses issues present in the dual-network framework, leading to overall algorithmic performance improvement. Furthermore, we validated the algorithm on a real robot, demonstrating its feasibility in a practical application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google