Active Neural Topological Mapping for Multi-Agent Exploration

要約

この論文では、複数のエージェントが限られた時間内に感覚信号を介して目に見えない環境を探索する必要がある、マルチエージェント協力探索問題を調査します。
探索タスクへの一般的なアプローチは、アクティブなマッピングと計画を組み合わせることです。
メトリック マップは空間表現の詳細をキャプチャしますが、通信トラフィックが多く、シナリオ間で大きく異なる可能性があるため、一般化が不十分になります。
トポロジカル マップは、抽象的だが重要な情報を含むノードとエッジのみで構成され、シーン構造の影響が少ないため、有望な代替手段です。
ただし、既存のトポロジベースの探索タスクのほとんどは、計画に古典的な手法を利用していますが、手作業で設計されているため、時間がかかり、最適とは言えません。
深層強化学習 (DRL) は、高速なエンドツーエンド推論を通じて (ほぼ) 最適なポリシーを学習できる大きな可能性を示しています。
この論文では、マルチエージェント探索タスクの探索効率と汎用性を向上させるために、マルチエージェント ニューラル トポロジカル マッピング (MANTM) を提案します。
MANTM は主に、トポロジカル マッパーと新しい RL ベースの階層トポロジカル プランナー (HTP) で構成されます。
トポロジカル マッパーは、ビジュアル エンコーダーと距離ベースのヒューリスティックを使用して、メイン ノードとそれに対応するゴースト ノードを含むグラフを構築します。
HTP は、グラフ ニューラル ネットワークを利用して、エージェントとグラフ ノード間の相関関係を粗い方法から細かい方法までキャプチャし、効果的なグローバル目標の選択を実現します。
物理的に現実的なシミュレーターである Habitat で行われた広範な実験により、MANTM は、まだ見ぬシナリオにおいて、計画ベースのベースラインと比較して少なくとも 26.40%、RL ベースの競合他社と比較して少なくとも 7.63% ステップを削減することが実証されました。

要約(オリジナル)

This paper investigates the multi-agent cooperative exploration problem, which requires multiple agents to explore an unseen environment via sensory signals in a limited time. A popular approach to exploration tasks is to combine active mapping with planning. Metric maps capture the details of the spatial representation, but are with high communication traffic and may vary significantly between scenarios, resulting in inferior generalization. Topological maps are a promising alternative as they consist only of nodes and edges with abstract but essential information and are less influenced by the scene structures. However, most existing topology-based exploration tasks utilize classical methods for planning, which are time-consuming and sub-optimal due to their handcrafted design. Deep reinforcement learning (DRL) has shown great potential for learning (near) optimal policies through fast end-to-end inference. In this paper, we propose Multi-Agent Neural Topological Mapping (MANTM) to improve exploration efficiency and generalization for multi-agent exploration tasks. MANTM mainly comprises a Topological Mapper and a novel RL-based Hierarchical Topological Planner (HTP). The Topological Mapper employs a visual encoder and distance-based heuristics to construct a graph containing main nodes and their corresponding ghost nodes. The HTP leverages graph neural networks to capture correlations between agents and graph nodes in a coarse-to-fine manner for effective global goal selection. Extensive experiments conducted in a physically-realistic simulator, Habitat, demonstrate that MANTM reduces the steps by at least 26.40% over planning-based baselines and by at least 7.63% over RL-based competitors in unseen scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google