Learning Efficient Multi-Agent Cooperative Visual Exploration

要約

複数のエージェントが視覚信号に基づいて、目に見えない領域をできるだけ速く共同で探索する必要がある協調視覚探索の問題に取り組みます。
古典的な計画ベースの方法は、多くの場合、各ステップでの高価な計算オーバーヘッドと、複雑な協力戦略の表現力の制限に悩まされます。
対照的に、強化学習 (RL) は、任意の複雑な戦略のモデリング機能と最小限の推論オーバーヘッドにより、この課題に取り組むための一般的なパラダイムになりました。
この論文では、新しいRLベースの計画モジュールであるMulti-agent Spatial Planner (
MSP).MSP は、トランスフォーマー ベースのアーキテクチャである Spatial-TeamFormer を活用します。これは、階層的な空間自己注意を介して、空間関係とエージェント内の相互作用を効果的にキャプチャします。
さらに、各エージェントからのローカル情報を処理して空間表現を調整し、より正確な計画を立てるために、いくつかのマルチエージェント機能強化も実装します。
最後に、ポリシー蒸留を実行してメタ ポリシーを抽出し、最終的なポリシーの一般化機能を大幅に改善します。
この全体的なソリューションをマルチエージェント アクティブ ニューラル SLAM (MAANS) と呼びます。
MAANS は、写真のようにリアルな 3D シミュレーターである Habitat で初めて、従来の計画ベースのベースラインよりも大幅に優れています。
コードとビデオは https://sites.google.com/view/maans にあります。

要約(オリジナル)

We tackle the problem of cooperative visual exploration where multiple agents need to jointly explore unseen regions as fast as possible based on visual signals. Classical planning-based methods often suffer from expensive computation overhead at each step and a limited expressiveness of complex cooperation strategy. By contrast, reinforcement learning (RL) has recently become a popular paradigm for tackling this challenge due to its modeling capability of arbitrarily complex strategies and minimal inference overhead. In this paper, we extend the state-of-the-art single-agent visual navigation method, Active Neural SLAM (ANS), to the multi-agent setting by introducing a novel RL-based planning module, Multi-agent Spatial Planner (MSP).MSP leverages a transformer-based architecture, Spatial-TeamFormer, which effectively captures spatial relations and intra-agent interactions via hierarchical spatial self-attentions. In addition, we also implement a few multi-agent enhancements to process local information from each agent for an aligned spatial representation and more precise planning. Finally, we perform policy distillation to extract a meta policy to significantly improve the generalization capability of final policy. We call this overall solution, Multi-Agent Active Neural SLAM (MAANS). MAANS substantially outperforms classical planning-based baselines for the first time in a photo-realistic 3D simulator, Habitat. Code and videos can be found at https://sites.google.com/view/maans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google