HeR-DRL:Heterogeneous Relational Deep Reinforcement Learning for Decentralized Multi-Robot Crowd Navigation

要約

群集ナビゲーションは、近年、特に DRL ベースの手法で研究で大きな注目を集めています。
単一ロボットの群集シナリオが研究の主流を占めていますが、現実世界の複雑さへの適用性は限られています。
分散型マルチロボットの歩行者シナリオなど、複数のエージェント カテゴリ間の相互作用の不均一性は無視されることがよくあります。
この「相互作用の盲点」は一般化を妨げ、堅牢なナビゲーション アルゴリズムへの進歩を制限します。
本稿では、分散型マルチロボット群衆ナビゲーションにおけるナビゲーション戦略を改善するために、カスタマイズされた異種GNNに基づく異種リレーショナル深層強化学習(HeR-DRL)を提案する。
まず、異種のペアごとの相互作用関係を効果的にシミュレートする、ロボットと群集の異種関係グラフを構築する方法を考案しました。
我々は、異種状態情報を転送・集約するための新しい異種グラフニューラルネットワークを提案した。
最後に、エンコードされた情報を深層強化学習に組み込み、最適なポリシーを探索します。
HeR-DRL は、単一ロボットと複数ロボットのサークル クロシング シナリオの両方で最先端のアルゴリズムと比較することで厳密に評価されます。
実験結果は、HeR-DRL が全体的なパフォーマンスにおいて最先端のアプローチを上回り、特に安全性と快適性の指標において優れていることを示しています。
これは、群集ナビゲーションにおけるインタラクションの異質性の重要性を強調しています。
ソースコードは https://github.com/Zhouxy-Debugging-Den/HeR-DRL で公開されます。

要約(オリジナル)

Crowd navigation has received significant research attention in recent years, especially DRL-based methods. While single-robot crowd scenarios have dominated research, they offer limited applicability to real-world complexities. The heterogeneity of interaction among multiple agent categories, like in decentralized multi-robot pedestrian scenarios, are frequently disregarded. This ‘interaction blind spot’ hinders generalizability and restricts progress towards robust navigation algorithms. In this paper, we propose a heterogeneous relational deep reinforcement learning(HeR-DRL), based on customised heterogeneous GNN, in order to improve navigation strategies in decentralized multi-robot crowd navigation. Firstly, we devised a method for constructing robot-crowd heterogenous relation graph that effectively simulates the heterogeneous pair-wise interaction relationships. We proposed a new heterogeneous graph neural network for transferring and aggregating the heterogeneous state information. Finally, we incorporate the encoded information into deep reinforcement learning to explore the optimal policy. HeR-DRL are rigorously evaluated through comparing it to state-of-the-art algorithms in both single-robot and multi-robot circle crowssing scenario. The experimental results demonstrate that HeR-DRL surpasses the state-of-the-art approaches in overall performance, particularly excelling in safety and comfort metrics. This underscores the significance of interaction heterogeneity for crowd navigation. The source code will be publicly released in https://github.com/Zhouxy-Debugging-Den/HeR-DRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google