Transformable Gaussian Reward Function for Socially-Aware Navigation with Deep Reinforcement Learning

要約

ロボットのナビゲーションは、障害物回避を優先することから、人間の存在に対応する社会を意識したナビゲーション戦略を採用することに移行しています。
その結果、動的な人間中心の環境内での社会を意識したナビゲーションの認識がロボット工学の分野で注目を集めています。
強化学習技術は社会性を意識したナビゲーションの進歩を促進しましたが、特に混雑した環境において、適切な報酬関数を定義することは大きな課題となっています。
これらの報酬はロボットの行動を導く上で重要ですが、その複雑な性質と自動的に設定できないため、人間が作成した複雑な設計が必要です。
手動で設計された多数の報酬は、ハイパーパラメータの冗長性、不均衡、および固有のオブジェクト特性の不適切な表現といった問題を引き起こします。
これらの課題に対処するために、変換可能なガウス報酬関数 (TGRF) を導入します。
TGRF は、ハイパーパラメータ調整の負担を大幅に軽減し、さまざまな報酬関数にわたる適応性を示し、特に深層強化学習 (DRL) を利用した混雑した環境で優れた学習速度の加速を実証します。
TGRF の概念的な背景、特性、実験、実世界への応用を強調するセクションを通じて TGRF を紹介および検証し、ロボット工学におけるより効果的で適応性のあるアプローチへの道を切り開きます。完全なソース コードは https://github.com/ で入手できます。
ジンK/TGRF

要約(オリジナル)

Robot navigation has transitioned from prioritizing obstacle avoidance to adopting socially aware navigation strategies that accommodate human presence. As a result, the recognition of socially aware navigation within dynamic human-centric environments has gained prominence in the field of robotics. Although reinforcement learning technique has fostered the advancement of socially aware navigation, defining appropriate reward functions, especially in congested environments, has posed a significant challenge. These rewards, crucial in guiding robot actions, demand intricate human-crafted design due to their complex nature and inability to be automatically set. The multitude of manually designed rewards poses issues with hyperparameter redundancy, imbalance, and inadequate representation of unique object characteristics. To address these challenges, we introduce a transformable gaussian reward function (TGRF). The TGRF significantly reduces the burden of hyperparameter tuning, displays adaptability across various reward functions, and demonstrates accelerated learning rates, particularly excelling in crowded environments utilizing deep reinforcement learning (DRL). We introduce and validate TGRF through sections highlighting its conceptual background, characteristics, experiments, and real-world application, paving the way for a more effective and adaptable approach in robotics.The complete source code is available on https://github.com/JinnnK/TGRF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google