An Open-source Sim2Real Approach for Sensor-independent Robot Navigation in a Grid

要約

この論文では、シミュレートされた環境で訓練されたエージェントと、同様の設定でロボットを操作する現実世界の実装との間のギャップを埋めるための Sim2Real (シミュレーションから現実へ) アプローチを紹介します。
具体的には、強化学習 (RL) アルゴリズムを開発およびテストするための、非常にユーザーフレンドリーで無料のアプリケーション プログラミング インターフェイス (API) である体育館のフローズン レイクにインスピレーションを得た、現実世界のグリッド状の環境で四足ロボットをナビゲートすることに重点を置いています。
Frozen Lake シミュレーションで学習したモーション ポリシーを物理的な四足ロボットに転送するパイプラインの開発について詳しく説明します。これにより、高価な位置特定センサーやマッピング センサーに依存することなく、グリッド内での自律ナビゲーションと障害物回避が可能になります。
この作業には、Frozen Lake 環境で RL エージェントをトレーニングし、結果として得られる Q テーブルを利用して 12 自由度 (DOF) の四足ロボットを制御することが含まれます。
RL 実装、逆運動学ベースの四足歩行、転送ポリシー パイプラインの詳細に加えて、GitHub でプロジェクトをオープンソース化し、Sim2Real 転送アプローチのデモンストレーション ビデオを含めています。
この研究は、研究者、学生、愛好家が現実世界のグリッド環境で RL ベースのロボット ナビゲーションを探索および実装するための、アクセスしやすく、簡単で、低コストのフレームワークを提供します。

要約(オリジナル)

This paper presents a Sim2Real (Simulation to Reality) approach to bridge the gap between a trained agent in a simulated environment and its real-world implementation in navigating a robot in a similar setting. Specifically, we focus on navigating a quadruped robot in a real-world grid-like environment inspired by the Gymnasium Frozen Lake — a highly user-friendly and free Application Programming Interface (API) to develop and test Reinforcement Learning (RL) algorithms. We detail the development of a pipeline to transfer motion policies learned in the Frozen Lake simulation to a physical quadruped robot, thus enabling autonomous navigation and obstacle avoidance in a grid without relying on expensive localization and mapping sensors. The work involves training an RL agent in the Frozen Lake environment and utilizing the resulting Q-table to control a 12 Degrees-of-Freedom (DOF) quadruped robot. In addition to detailing the RL implementation, inverse kinematics-based quadruped gaits, and the transfer policy pipeline, we open-source the project on GitHub and include a demonstration video of our Sim2Real transfer approach. This work provides an accessible, straightforward, and low-cost framework for researchers, students, and hobbyists to explore and implement RL-based robot navigation in real-world grid environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google