RUMOR: Reinforcement learning for Understanding a Model of the Real World for Navigation in Dynamic Environments

要約

動的環境における自律ナビゲーションは、自律ロボットにとって複雑ではあるが不可欠なタスクであり、最近の深層強化学習アプローチは有望な結果を示しています。
ただし、現実世界の複雑さにより、考えられるすべてのシナリオ構成でエージェントをトレーニングすることは不可能です。
さらに、既存の方法は通常、ロボットの運動力学的制約などの要因を見落とすか、環境についての完全な知識を前提としています。
この研究では、深層強化学習を使用して非常に動的な環境をナビゲートする差動駆動ロボット用の新しいプランナーである RUMOR を紹介します。
他のエンドツーエンドの DRL プランナーとは異なり、記述的なロボセントリック速度空間モデルを使用して動的な環境情報を抽出し、トレーニングの有効性とシナリオの解釈を強化します。
さらに、ロボットの運動力学を本質的に考慮したアクション空間を提案し、現実世界の問題点を再現するシミュレーターでトレーニングすることで、現実とシミュレーションのギャップを減らします。
私たちは RUMOR を他の最先端のアプローチと徹底的に比較し、より優れたパフォーマンスを実証し、結果の詳細な分析を提供します。
最後に、RUMOR を地上ロボットに展開することで、現実世界の設定でのパフォーマンスを検証します。
混雑したシナリオと目に見えない環境で実施された私たちの実験では、アルゴリズムの堅牢性と移行可能性が確認されました。

要約(オリジナル)

Autonomous navigation in dynamic environments is a complex but essential task for autonomous robots, with recent deep reinforcement learning approaches showing promising results. However, the complexity of the real world makes it infeasible to train agents in every possible scenario configuration. Moreover, existing methods typically overlook factors such as robot kinodynamic constraints, or assume perfect knowledge of the environment. In this work, we present RUMOR, a novel planner for differential-drive robots that uses deep reinforcement learning to navigate in highly dynamic environments. Unlike other end-to-end DRL planners, it uses a descriptive robocentric velocity space model to extract the dynamic environment information, enhancing training effectiveness and scenario interpretation. Additionally, we propose an action space that inherently considers robot kinodynamics and train it in a simulator that reproduces the real world problematic aspects, reducing the gap between the reality and simulation. We extensively compare RUMOR with other state-of-the-art approaches, demonstrating a better performance, and provide a detailed analysis of the results. Finally, we validate RUMOR’s performance in real-world settings by deploying it on a ground robot. Our experiments, conducted in crowded scenarios and unseen environments, confirm the algorithm’s robustness and transferability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google