Locomotion Generation for a Rat Robot based on Environmental Changes via Reinforcement Learning

要約

この研究は、小型四足ロボットの移動生成のための強化学習アプローチの開発に焦点を当てています。
実験プラットフォームとしてラットロボットNeRmoを採用。
体積が限られているため、小型の四足ロボットは通常、センサーの数が少なく、弱いため、環境の変化を正確に認識して対応することが困難になります。
これに関連して、センサーからのフィードバック データが不十分で不正確であるため、強化学習に基づいて適応的な移動運動を生成することが困難になります。
これらの課題を克服するために、本論文では、小型四足ロボットの環境適応性を高めるための有効な知覚情報の抽出に焦点を当てた新しい強化学習アプローチを提案します。
ロボットの歩幅の周波数に応じて、センサーデータの重要な情報をフーリエ変換結果から導出される正弦関数を利用して解析します。
さらに、さまざまなタスクで適応的な移動運動を生成するための多機能報酬メカニズムが提案されています。
さまざまな環境でラットロボットの移動を生成する際の、提案された強化学習アプローチの有効性を評価するために、広範なシミュレーションが実行されます。
実験結果は、提案されたアプローチが、スロープ、階段、らせん階段などのさまざまな地形にわたってラットロボットの安定した移動を維持できることを示しています。

要約(オリジナル)

This research focuses on developing reinforcement learning approaches for the locomotion generation of small-size quadruped robots. The rat robot NeRmo is employed as the experimental platform. Due to the constrained volume, small-size quadruped robots typically possess fewer and weaker sensors, resulting in difficulty in accurately perceiving and responding to environmental changes. In this context, insufficient and imprecise feedback data from sensors makes it difficult to generate adaptive locomotion based on reinforcement learning. To overcome these challenges, this paper proposes a novel reinforcement learning approach that focuses on extracting effective perceptual information to enhance the environmental adaptability of small-size quadruped robots. According to the frequency of a robot’s gait stride, key information of sensor data is analyzed utilizing sinusoidal functions derived from Fourier transform results. Additionally, a multifunctional reward mechanism is proposed to generate adaptive locomotion in different tasks. Extensive simulations are conducted to assess the effectiveness of the proposed reinforcement learning approach in generating rat robot locomotion in various environments. The experiment results illustrate the capability of the proposed approach to maintain stable locomotion of a rat robot across different terrains, including ramps, stairs, and spiral stairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google