Deep Reinforcement Learning with Dynamic Graphs for Adaptive Informative Path Planning

要約

自律型ロボットは効率的で人件費が安いため、データ収集によく採用される。ロボットのデータ収集における重要なタスクは、限られたバッテリ寿命などのプラットフォーム固有のリソース制約の中で、観測データを収集するために、最初は未知の環境を通して経路を計画することである。3D環境における適応的なオンライン経路計画は、有効なアクションのセットが多く、未知のオクルージョンが存在するため困難である。これらの問題に対処するために、我々は、未知の3D環境において興味のあるターゲットをマッピングするために、ロボットの経路を適応的に再計画するための新しい深層強化学習アプローチを提案する。本アプローチの重要な側面は、ロボットの局所的な計画行動を制限する動的に構築されたグラフであり、新たに発見された静的障害物や関心ターゲットに反応することを可能にする。再計画のために、未知の環境を探索することと、オンラインで発見された興味のあるターゲットを利用することの間でバランスをとる新しい報酬関数を提案する。我々の実験により、我々の手法が、最新の学習ベースラインや非学習ベースラインと比較して、より効率的なターゲット発見を可能にすることが示された。また、フォトリアリスティックなシミュレータにおいて、無人航空機を用いた果樹園モニタリングのための我々のアプローチを紹介する。我々のコードとモデルは、https://github.com/dmar-bonn/ipp-rl-3d でオープンソース化している。

要約(オリジナル)

Autonomous robots are often employed for data collection due to their efficiency and low labour costs. A key task in robotic data acquisition is planning paths through an initially unknown environment to collect observations given platform-specific resource constraints, such as limited battery life. Adaptive online path planning in 3D environments is challenging due to the large set of valid actions and the presence of unknown occlusions. To address these issues, we propose a novel deep reinforcement learning approach for adaptively replanning robot paths to map targets of interest in unknown 3D environments. A key aspect of our approach is a dynamically constructed graph that restricts planning actions local to the robot, allowing us to react to newly discovered static obstacles and targets of interest. For replanning, we propose a new reward function that balances between exploring the unknown environment and exploiting online-discovered targets of interest. Our experiments show that our method enables more efficient target discovery compared to state-of-the-art learning and non-learning baselines. We also showcase our approach for orchard monitoring using an unmanned aerial vehicle in a photorealistic simulator. We open-source our code and model at: https://github.com/dmar-bonn/ipp-rl-3d.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL