Metric-Free Exploration for Topological Mapping by Task and Motion Imitation in Feature Space

要約

未知の環境のトポロジー マッピングのためのシンプルで軽量なメトリクス フリーの探索方法である DeepExplorer を提案します。
タスクとモーションの計画 (TAMP) を完全に画像特徴空間で実行します。
タスク プランナーは、最新の画像観測シーケンスを使用してフィーチャを次善の探索目標として幻覚させる再帰型ネットワークです。
モーションプランナーは、現在の特徴と幻覚の特徴を利用して、エージェントをその目標に導くアクションを生成します。
2 人のプランナーは、専門家のデモンストレーションから学習する、教師付きの模倣学習を通じて共同でトレーニングを受けます。
探索中、次のアクションを予測するために 2 つのプランナーを繰り返し呼び出します。トポロジ マップは、最新の画像観測とアクションを常にマップに追加し、ループ クロージングに視覚的場所認識 (VPR) を使用して構築されます。
結果として得られるトポロジ マップは、環境の接続性と通過可能性を効率的に表すため、視覚的なナビゲーションなどのタスクに使用できます。
Gibson や MP3D などの大規模なシミュレーション データセットで、DeepExplorer の探索効率と強力な sim2sim 一般化機能を示します。
その有効性は、結果のトポロジ マップでのイメージ ゴール ナビゲーション パフォーマンスによってさらに検証されます。
さらに、実世界の実験でその強力なゼロショット sim2real 一般化機能を示します。
ソース コードは、\url{https://ai4ce.github.io/DeepExplorer/} で入手できます。

要約(オリジナル)

We propose DeepExplorer, a simple and lightweight metric-free exploration method for topological mapping of unknown environments. It performs task and motion planning (TAMP) entirely in image feature space. The task planner is a recurrent network using the latest image observation sequence to hallucinate a feature as the next-best exploration goal. The motion planner then utilizes the current and the hallucinated features to generate an action taking the agent towards that goal. The two planners are jointly trained via deeply-supervised imitation learning from expert demonstrations. During exploration, we iteratively call the two planners to predict the next action, and the topological map is built by constantly appending the latest image observation and action to the map and using visual place recognition (VPR) for loop closing. The resulting topological map efficiently represents an environment’s connectivity and traversability, so it can be used for tasks such as visual navigation. We show DeepExplorer’s exploration efficiency and strong sim2sim generalization capability on large-scale simulation datasets like Gibson and MP3D. Its effectiveness is further validated via the image-goal navigation performance on the resulting topological map. We further show its strong zero-shot sim2real generalization capability in real-world experiments. The source code is available at \url{https://ai4ce.github.io/DeepExplorer/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google