Local Path Planning among Pushable Objects based on Reinforcement Learning

要約

この論文では、ロボット工学における未解決の問題である、押し可能な物体間のロボットのローカル経路計画の問題に対処する方法を紹介します。
特に、ディープ ニューラル ネットワークと組み合わせた Advantage Actor-Critic アルゴリズムを利用して、物理ベースのシミュレーション環境で複数のエージェントを同時にトレーニングすることで、これを実現します。
開発されたオンライン ポリシーにより、これらのエージェントは、軸方向の配置に限定されない方法で障害物を押し、障害物ダイナミクスの予期せぬ変化に即座に適応し、限られたエリアでのローカル パス プランニングに効果的に取り組むことができます。
私たちは、さまざまなシミュレートされた環境でこの方法をテストし、不慣れな環境におけるさまざまな目に見えないシナリオへの適応の有効性を証明しました。
さらに、このポリシーを実際の四足ロボットに適用することに成功し、現実世界のセンサーに関連する予測不可能性やノイズ、未踏の物体を押すタスクに存在する固有の不確実性を処理できる能力を確認しました。

要約(オリジナル)

In this paper, we introduce a method to deal with the problem of robot local path planning among pushable objects — an open problem in robotics. In particular, we achieve that by training multiple agents simultaneously in a physics-based simulation environment, utilizing an Advantage Actor-Critic algorithm coupled with a deep neural network. The developed online policy enables these agents to push obstacles in ways that are not limited to axial alignments, adapt to unforeseen changes in obstacle dynamics instantaneously, and effectively tackle local path planning in confined areas. We tested the method in various simulated environments to prove the adaptation effectiveness to various unseen scenarios in unfamiliar settings. Moreover, we have successfully applied this policy on an actual quadruped robot, confirming its capability to handle the unpredictability and noise associated with real-world sensors and the inherent uncertainties present in unexplored object pushing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google