A Transferability Metric Using Scene Similarity and Local Map Observation for DRL Navigation

要約

深層強化学習 (DRL) は、グローバル マップを使用しないナビゲーションの問題を解決する上で急速に関心を集めていますが、DRL は通常、トレーニング シーンと実際のテスト シーンとの間のギャップにより、実際には平凡なナビゲーション パフォーマンスにつながります。
トレーニング シーンとテスト シーン間の DRL エージェントの移行可能性を定量化するために、この論文では、新しい移行可能性メトリクス、つまり、改良された画像テンプレート マッチング アルゴリズムを使用して計算されるシーンの類似性を提案します。
具体的には、DRL アルゴリズムの全体的な堅牢性を評価するグローバル シーンの類似性と、グローバル マップなしで DRL エージェントが展開される場合の安全対策として機能するローカル シーンの類似性を含む 2 つの転送可能性パフォーマンス指標が設計されています。
さらに本稿では、DRLナビゲーションアルゴリズムの伝達性向上を目的として、2D LiDARデータとエージェントと目的地の両方の空間情報を融合したローカルマップをDRL観測として利用することを提案する。
車輪付きロボットをケーススタディのプラットフォームとして使用し、シミュレーションと実世界の実験の両方が合計 26 の異なるシーンで実行されます。
実験結果は、ローカル マップ観測設計の堅牢性を裏付け、シーン類似性メトリックと DRL ナビゲーション アルゴリズムの成功率の間に強い相関関係があることを実証しています。

要約(オリジナル)

While deep reinforcement learning (DRL) has attracted a rapidly growing interest in solving the problem of navigation without global maps, DRL typically leads to a mediocre navigation performance in practice due to the gap between the training scene and the actual test scene. To quantify the transferability of a DRL agent between the training and test scenes, this paper proposes a new transferability metric — the scene similarity calculated using an improved image template matching algorithm. Specifically, two transferability performance indicators are designed including the global scene similarity that evaluates the overall robustness of a DRL algorithm and the local scene similarity that serves as a safety measure when a DRL agent is deployed without a global map. In addition, this paper proposes the use of a local map that fuses 2D LiDAR data with spatial information of both the agent and the destination as the DRL observation, aiming to improve the transferability of DRL navigation algorithms. With a wheeled robot as the case study platform, both simulation and real-world experiments are conducted in a total of 26 different scenes. The experimental results affirm the robustness of the local map observation design and demonstrate the strong correlation between the scene similarity metric and the success rate of DRL navigation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google