Dimension-variable Mapless Navigation with Deep Reinforcement Learning

要約

深層強化学習 (DRL) は、マップレス ロボット ナビゲーションのための制御エージェントのトレーニングに大きな期待を示しています。
ただし、DRL でトレーニングされたエージェントは、トレーニング中に使用される特定のロボットの寸法に制限されるため、タスク固有の要件に合わせてロボットの寸法が変更された場合、その適用性が妨げられます。
この制限を克服するために、我々は DRL に基づいた次元可変ロボットナビゲーション手法を提案します。
私たちのアプローチには、シミュレーションでメタ エージェントをトレーニングし、その後、ディメンション可変スキル転送 (DVST) と呼ばれる手法を使用してメタ スキルをディメンション可変ロボットに転送することが含まれます。
トレーニング フェーズでは、メタ ロボットのメタ エージェントは DRL を使用してセルフ ナビゲーション スキルを学習します。
スキル伝達フェーズでは、さまざまな次元のロボットからの観察がスケーリングされてメタ エージェントに転送され、その結果得られる制御ポリシーがさまざまな次元のロボットにスケールバックされます。
私たちは、広範なシミュレーション実験と現実世界での実験を通じて、さまざまな次元のロボットが再トレーニングなしで未知の動的な環境をうまく移動できることを実証しました。
結果は、私たちの研究が DRL ベースのナビゲーション手法の適用可能性を大幅に拡大し、固定寸法の制限なしにさまざまな寸法のロボットで使用できるようにすることを示しています。
私たちの実験のビデオは補足ファイルにあります。

要約(オリジナル)

Deep reinforcement learning (DRL) has exhibited considerable promise in the training of control agents for mapless robot navigation. However, DRL-trained agents are limited to the specific robot dimensions used during training, hindering their applicability when the robot’s dimension changes for task-specific requirements. To overcome this limitation, we propose a dimension-variable robot navigation method based on DRL. Our approach involves training a meta agent in simulation and subsequently transferring the meta skill to a dimension-varied robot using a technique called dimension-variable skill transfer (DVST). During the training phase, the meta agent for the meta robot learns self-navigation skills with DRL. In the skill-transfer phase, observations from the dimension-varied robot are scaled and transferred to the meta agent, and the resulting control policy is scaled back to the dimension-varied robot. Through extensive simulated and real-world experiments, we demonstrated that the dimension-varied robots could successfully navigate in unknown and dynamic environments without any retraining. The results show that our work substantially expands the applicability of DRL-based navigation methods, enabling them to be used on robots with different dimensions without the limitation of a fixed dimension. The video of our experiments can be found in the supplementary file.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google