A Graph-Based Reinforcement Learning Approach with Frontier Potential Based Reward for Safe Cluttered Environment Exploration

要約

乱雑な環境の自律的な調査には、未知のランダム障害との潜在的な衝突に対する安全性を保証する効率的な探索戦略が必要です。
このペーパーでは、グラフニューラルネットワークベースの探査貪欲なポリシーと安全シールドを組み合わせた新しいアプローチを紹介し、安全なナビゲーション目標の選択を確保します。
ネットワークは、強化学習と近位ポリシー最適化アルゴリズムを使用してトレーニングされ、安全シールドの介入を減らしながら探査効率を最大化します。
ただし、ポリシーが実行不可能なアクションを選択した場合、安全シールドが介入して最良の実行可能な代替品を選択し、システムの一貫性を確保します。
さらに、このホワイトペーパーでは、エージェントの未開の領域への近接性と、それらに到達することからの予想される情報が得られることに基づく潜在的なフィールドを含む報酬関数を提案します。
全体として、このペーパーで調査されたアプローチは、強化学習主導型探査ポリシーの適応性の利点と、明示的な安全メカニズムによって保証された保証を統合します。
シミュレートされた環境での広範な評価は、このアプローチが乱雑な環境で効率的かつ安全な探索を可能にすることを示しています。

要約(オリジナル)

Autonomous exploration of cluttered environments requires efficient exploration strategies that guarantee safety against potential collisions with unknown random obstacles. This paper presents a novel approach combining a graph neural network-based exploration greedy policy with a safety shield to ensure safe navigation goal selection. The network is trained using reinforcement learning and the proximal policy optimization algorithm to maximize exploration efficiency while reducing the safety shield interventions. However, if the policy selects an infeasible action, the safety shield intervenes to choose the best feasible alternative, ensuring system consistency. Moreover, this paper proposes a reward function that includes a potential field based on the agent’s proximity to unexplored regions and the expected information gain from reaching them. Overall, the approach investigated in this paper merges the benefits of the adaptability of reinforcement learning-driven exploration policies and the guarantee ensured by explicit safety mechanisms. Extensive evaluations in simulated environments demonstrate that the approach enables efficient and safe exploration in cluttered environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google