CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration

要約

効率的かつ柔軟なロボット探査ソリューションの需要が高まっているため、Renforce Learning（RL）は、自律的なロボット探査の分野で有望なアプローチになりつつあります。
ただし、現在のRLベースの探査アルゴリズムは、環境推論の能力が限られていること、収束率が遅い、SIMからリアル（S2R）転送における実質的な課題に直面していることがよくあります。
これらの問題に対処するために、探査効率と転送パフォーマンスの両方を改善することを目的としたカリキュラム学習ベースのトランス補強学習アルゴリズム（CTSAC）を提案します。
ロボットの推論能力を強化するために、変圧器はソフトアクタークリティック（SAC）フレームワークの知覚ネットワークに統合され、履歴情報を活用して戦略の遠視を改善します。
定期的なレビューベースのカリキュラム学習が提案されています。これにより、カリキュラムの移行中の壊滅的な忘却を緩和しながら、トレーニング効率が向上します。
S2Rギャップをさらに削減するために、LIDARクラスタリングの最適化により、Ros-Gazebo Continuous Robotic Simulation Platformでトレーニングが行われます。
実験結果は、CTSACアルゴリズムが成功率と成功率加重探索時間の観点から、最先端の非学習および学習ベースのアルゴリズムを上回ることを示しています。
さらに、実際の実験は、CTSACの強力なS2R転送機能を検証します。

要約(オリジナル)

With the increasing demand for efficient and flexible robotic exploration solutions, Reinforcement Learning (RL) is becoming a promising approach in the field of autonomous robotic exploration. However, current RL-based exploration algorithms often face limited environmental reasoning capabilities, slow convergence rates, and substantial challenges in Sim-To-Real (S2R) transfer. To address these issues, we propose a Curriculum Learning-based Transformer Reinforcement Learning Algorithm (CTSAC) aimed at improving both exploration efficiency and transfer performance. To enhance the robot’s reasoning ability, a Transformer is integrated into the perception network of the Soft Actor-Critic (SAC) framework, leveraging historical information to improve the farsightedness of the strategy. A periodic review-based curriculum learning is proposed, which enhances training efficiency while mitigating catastrophic forgetting during curriculum transitions. Training is conducted on the ROS-Gazebo continuous robotic simulation platform, with LiDAR clustering optimization to further reduce the S2R gap. Experimental results demonstrate the CTSAC algorithm outperforms the state-of-the-art non-learning and learning-based algorithms in terms of success rate and success rate-weighted exploration time. Moreover, real-world experiments validate the strong S2R transfer capabilities of CTSAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google