Attention Graph for Multi-Robot Social Navigation with Deep Reinforcement Learning

要約

歩行者の間でロボットのナビゲーション戦略を学習することは、ドメインベースのアプリケーションにとって非常に重要です。
知覚、計画、予測を組み合わせることで、ロボットと歩行者の間の相互作用をモデル化することができ、特に深層強化学習 (RL) に基づく最近のアプローチでは印象的な成果が得られます。
ただし、これらの作品ではマルチロボットのシナリオは考慮されていません。
この論文では、RL を使用してマルチエージェントの社会性を意識したナビゲーション戦略を学習するための新しい方法である MultiSoc を紹介します。
マルチエージェントディープ RL に関する最近の研究に触発された私たちの手法は、エンティティ (歩行者とエージェント) の位置と視野を組み合わせた、エージェントの相互作用のグラフベースの表現を活用しています。
各エージェントは、注意メカニズムと組み合わせた 2 つのグラフ ニューラル ネットワークに基づくモデルを使用します。
まずエッジセレクターがスパースグラフを生成し、次にクラウドコーディネーターがノードアテンションを適用して各エンティティが他のエンティティに及ぼす影響を表すグラフを生成します。
これは、マルチエージェント ポリシーを学習するためにモデルフリーの RL フレームワークに組み込まれています。
シミュレーションに関するアプローチを評価し、一連のさまざまな条件 (エージェント/歩行者の数) で一連の実験を提供します。
経験的な結果は、私たちの方法がソーシャルナビゲーションディープRLモノエージェント技術よりも速く学習し、複数の異種人間による群衆ナビゲーションに挑戦する際に効率的なマルチエージェント暗黙的調整を可能にすることを示しています。
さらに、カスタマイズ可能なメタパラメータを組み込むことで、ナビゲーション戦略で考慮するために近隣密度を調整できます。

要約(オリジナル)

Learning robot navigation strategies among pedestrian is crucial for domain based applications. Combining perception, planning and prediction allows us to model the interactions between robots and pedestrians, resulting in impressive outcomes especially with recent approaches based on deep reinforcement learning (RL). However, these works do not consider multi-robot scenarios. In this paper, we present MultiSoc, a new method for learning multi-agent socially aware navigation strategies using RL. Inspired by recent works on multi-agent deep RL, our method leverages graph-based representation of agent interactions, combining the positions and fields of view of entities (pedestrians and agents). Each agent uses a model based on two Graph Neural Network combined with attention mechanisms. First an edge-selector produces a sparse graph, then a crowd coordinator applies node attention to produce a graph representing the influence of each entity on the others. This is incorporated into a model-free RL framework to learn multi-agent policies. We evaluate our approach on simulation and provide a series of experiments in a set of various conditions (number of agents / pedestrians). Empirical results show that our method learns faster than social navigation deep RL mono-agent techniques, and enables efficient multi-agent implicit coordination in challenging crowd navigation with multiple heterogeneous humans. Furthermore, by incorporating customizable meta-parameters, we can adjust the neighborhood density to take into account in our navigation strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google