Improving robot navigation in crowded environments using intrinsic rewards

要約

混雑した環境における自律的なナビゲーションは、多くのアプリケーションで開かれた問題であり、未来のスマートシティにおけるロボットと人間の共存に不可欠です。
近年、深い強化学習アプローチは、モデルベースのアルゴリズムを上回ることが証明されています。
それにもかかわらず、提供された結果は有望ですが、作品はモデルが提供する機能を活用することはできません。
彼らは通常、トレーニングプロセスでローカルオプティマに閉じ込められ、最適なポリシーを学ぶことを妨げます。
彼らは、目標近くの州や動的な障害物の近くなど、すべての可能な状態を適切に訪問してやり取りすることができません。
この作業では、エージェントが訓練された時間ではなく、国家の不確実性に応じて、探査と搾取のバランスをとるために、本質的な報酬を使用して探索と探索を提案し、エージェントが未知の州についてより興味を持っているように奨励します。
アプローチの利点を説明し、クラウドナビゲーションに使用できる他の探索アルゴリズムと比較します。
多くのシミュレーション実験は、最先端のいくつかのアルゴリズムを変更して実行され、本質的な報酬を使用すると、ロボットがより速く学習し、より短いナビゲーション時間でより高い報酬と成功率（より少ない衝突）に到達し、最先端を上回ることが示されています。

要約(オリジナル)

Autonomous navigation in crowded environments is an open problem with many applications, essential for the coexistence of robots and humans in the smart cities of the future. In recent years, deep reinforcement learning approaches have proven to outperform model-based algorithms. Nevertheless, even though the results provided are promising, the works are not able to take advantage of the capabilities that their models offer. They usually get trapped in local optima in the training process, that prevent them from learning the optimal policy. They are not able to visit and interact with every possible state appropriately, such as with the states near the goal or near the dynamic obstacles. In this work, we propose using intrinsic rewards to balance between exploration and exploitation and explore depending on the uncertainty of the states instead of on the time the agent has been trained, encouraging the agent to get more curious about unknown states. We explain the benefits of the approach and compare it with other exploration algorithms that may be used for crowd navigation. Many simulation experiments are performed modifying several algorithms of the state-of-the-art, showing that the use of intrinsic rewards makes the robot learn faster and reach higher rewards and success rates (fewer collisions) in shorter navigation times, outperforming the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google