TopoNav: Topological Navigation for Efficient Exploration in Sparse Reward Environments

要約

未知の環境を探索する自律ロボットは、事前の地図なしで、限られた外部フィードバックを使用して効果的に移動するという重大な課題に直面しています。
この課題は、従来の探索手法が失敗することが多い、報酬が少ない環境ではさらに深刻になります。
この論文では、アクティブ マッピング、階層型強化学習、および内発的動機づけを統合して、報酬が少ない環境での効率的な目標指向の探索とナビゲーションを可能にする、新しいトポロジカル ナビゲーション フレームワークである TopoNav を紹介します。
TopoNav は、環境のトポロジ マップを動的に構築し、主要な場所と経路をキャプチャします。
高レベルのグラフ トラバーサル ポリシーと低レベルのモーション コントロール ポリシーで構成される 2 レベルの階層ポリシー アーキテクチャにより、全体的な目標への焦点を維持しながら効果的なナビゲーションと障害物回避が可能になります。
さらに、TopoNav には、トポロジー マップ内の関連領域とフロンティア ノードに向けて探索をガイドするための内発的動機が組み込まれており、まばらな外部報酬の課題に対処します。
私たちは、Clearpath Jackal ロボットを使用して、目標到達、フィーチャベースのナビゲーション、複雑な地形でのナビゲーションという 3 つの困難なナビゲーション シナリオにわたって、シミュレートされたオフロード環境と現実世界のオフロード環境の両方で TopoNav を評価します。
さまざまなシナリオにおいて、最先端の方法と比較して、探査範囲が 7 ～ 20% 増加し、成功率が 9 ～ 19% 増加し、航行時間が 15 ～ 36% 短縮されたことが観察されています。

要約(オリジナル)

Autonomous robots exploring unknown environments face a significant challenge: navigating effectively without prior maps and with limited external feedback. This challenge intensifies in sparse reward environments, where traditional exploration techniques often fail. In this paper, we present TopoNav, a novel topological navigation framework that integrates active mapping, hierarchical reinforcement learning, and intrinsic motivation to enable efficient goal-oriented exploration and navigation in sparse-reward settings. TopoNav dynamically constructs a topological map of the environment, capturing key locations and pathways. A two-level hierarchical policy architecture, comprising a high-level graph traversal policy and low-level motion control policies, enables effective navigation and obstacle avoidance while maintaining focus on the overall goal. Additionally, TopoNav incorporates intrinsic motivation to guide exploration toward relevant regions and frontier nodes in the topological map, addressing the challenges of sparse extrinsic rewards. We evaluate TopoNav both in the simulated and real-world off-road environments using a Clearpath Jackal robot, across three challenging navigation scenarios: goal-reaching, feature-based navigation, and navigation in complex terrains. We observe an increase in exploration coverage by 7- 20%, in success rates by 9-19%, and reductions in navigation times by 15-36% across various scenarios, compared to state-of-the-art methods

arxiv情報

提供元, 利用サービス

arxiv.jp, Google