Towards Continual Reinforcement Learning for Quadruped Robots

要約

四足ロボットは進化するテクノロジーとして登場しており、現在はシミュレーターを利用して、さらなるトレーニングを必要とせずに現実世界で機能できる堅牢なコントローラーを開発しています。
ただし、現実世界で起こり得るすべての状況を予測することは不可能であるため、私たちの研究では、導入後も学習を継続できるようにする可能性を検討しています。
この目的を達成するために、私たちは 2 つの継続的な学習シナリオを設計し、異なる環境でロボットを順次トレーニングしながら、すべての環境でのパフォーマンスを同時に評価しました。
私たちのアプローチは、前方および後方の両方のスキル伝達の範囲と、ロボットが以前に取得したスキルをどの程度忘れるかを明らかにします。
これらの要因に対処することで、現実世界のシナリオにおける四足ロボットの適応性とパフォーマンスを強化したいと考えています。

要約(オリジナル)

Quadruped robots have emerged as an evolving technology that currently leverages simulators to develop a robust controller capable of functioning in the real-world without the need for further training. However, since it is impossible to predict all possible real-world situations, our research explores the possibility of enabling them to continue learning even after their deployment. To this end, we designed two continual learning scenarios, sequentially training the robot on different environments while simultaneously evaluating its performance across all of them. Our approach sheds light on the extent of both forward and backward skill transfer, as well as the degree to which the robot might forget previously acquired skills. By addressing these factors, we hope to enhance the adaptability and performance of quadruped robots in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google