COLSON: Controllable Learning-Based Social Navigation via Diffusion-Based Reinforcement Learning

要約

歩行者の交通を伴う動的環境でのモバイルロボットナビゲーションは、自律モバイルサービスロボットの開発における重要な課題です。
最近、深い強化学習ベースの方法が積極的に研究されており、最適化能力により、従来のルールベースのアプローチよりも優れています。
これらのうち、連続的なアクション空間を仮定する方法は、通常、ガウス分布の仮定に依存しており、生成されたアクションの柔軟性を制限します。
一方、拡散モデルの強化学習への適用は進歩しており、ガウス分布ベースのアプローチと比較して、より柔軟なアクション分布が可能になりました。
この研究では、拡散ベースの強化学習アプローチを社会航海に適用し、その有効性を検証しました。
さらに、拡散モデルの特性を活用することにより、トレーニング後のアクションのスムージングと適応を可能にする拡張機能を提案します。

要約(オリジナル)

Mobile robot navigation in dynamic environments with pedestrian traffic is a key challenge in the development of autonomous mobile service robots. Recently, deep reinforcement learning-based methods have been actively studied and have outperformed traditional rule-based approaches owing to their optimization capabilities. Among these, methods that assume a continuous action space typically rely on a Gaussian distribution assumption, which limits the flexibility of generated actions. Meanwhile, the application of diffusion models to reinforcement learning has advanced, allowing for more flexible action distributions compared with Gaussian distribution-based approaches. In this study, we applied a diffusion-based reinforcement learning approach to social navigation and validated its effectiveness. Furthermore, by leveraging the characteristics of diffusion models, we propose an extension that enables post-training action smoothing and adaptation to static obstacle scenarios not considered during the training steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google