Local Map-Based DQN Navigation and a Transferability Metric Using Scene Similarity

要約

地球地図のない未知の環境での自律ナビゲーションは、移動ロボットにとって長年の課題です。
深層強化学習 (DRL) は、一般化機能によりこのような自律ナビゲーション問題を解決することに急速に関心を集めていますが、DRL は通常、トレーニング シーンと実際のテスト シーンとの間のギャップにより、実際には平凡なナビゲーション パフォーマンスにつながります。
既存の研究のほとんどはアルゴリズムを調整して移行可能性を高めることに重点を置いていますが、その間のギャップを定量化または測定する方法を研究しているものはほとんどありません。
このレターでは、ローカル マップベースのディープ Q ネットワーク (DQN) ナビゲーション アルゴリズムを紹介します。これは、グローバル マップを使用せずに、2D LiDAR データから変換されたローカル マップを観測として使用します。
さらに重要なのは、この書簡が新しい転送可能性指標、つまりトレーニング シーンとテスト シーン間の類似性を測定するための改良された画像テンプレート マッチング アルゴリズムから計算されるシーン類似性を提案していることです。
車輪付きロボットをケーススタディのプラットフォームとして使用し、シミュレーションと実世界の実験の両方が合計 20 の異なるシーンで実行されます。
ケース スタディの結果は、ローカル マップ ベースのナビゲーション アルゴリズムと、アルゴリズムの移行可能性または成功率を予測する際の類似性メトリックを検証することに成功しました。

要約(オリジナル)

Autonomous navigation in unknown environments without a global map is a long-standing challenge for mobile robots. While deep reinforcement learning (DRL) has attracted a rapidly growing interest in solving such an autonomous navigation problem for its generalization capability, DRL typically leads to a mediocre navigation performance in practice due to the gap between the training scene and the actual test scene. Most existing work focuses on tuning the algorithm to enhance its transferability, whereas few investigates how to quantify or measure the gap therebetween. This letter presents a local map-based deep Q-network (DQN) navigation algorithm, which uses local maps converted from 2D LiDAR data as observations without a global map. More importantly, this letter proposes a new transferability metric — the scene similarity calculated from an improved image template matching algorithm to measure the similarity between the training and test scenes. With a wheeled robot as the case study platform, both simulation and real-world experiments are conducted in a total of 20 different scenes. The case study results successfully validate the local map-based navigation algorithm as well as the similarity metric in predicting the transferability or success rate of the algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google