AutoVRL: A High Fidelity Autonomous Ground Vehicle Simulator for Sim-to-Real Deep Reinforcement Learning

要約

深層強化学習（Deep Reinforcement Learning: DRL）は、自然災害が発生する地域や地球外惑星のような危険で情報の乏しい環境で必要とされる、事前の地図やGPSを使用しない生のセンサーデータを活用した認知的な自律型地上車両（Autonomous Ground Vehicle: AGV）のナビゲーションを可能にします。最適なDRLポリシーを学習するために必要なトレーニング時間は、複雑なタスクでは数日から数週間に及ぶこともあり、AGVアプリケーションに実際に導入するには大きなハードルとなります。トレーニングでは、タスクの複雑さに応じて、長期間にわたって周辺環境との衝突を繰り返し、探索的で用途に特化した積極的な行動を強化する必要がありますが、現実世界ではコストも時間もかかります。シミュレーションと実世界のギャップを効果的に埋めることは、複雑なAGVアプリケーションでDRLの実装を成功させ、費用対効果の高いポリシーの学習を可能にするための必須条件です。AutoVRLは、PyTorchのOpenAI GymとStable Baselines3を利用した物理エンジンBulletをベースに構築されたオープンソースの高忠実度シミュレータで、AGVのDRLエージェントを訓練し、シミュレーションから実世界へのポリシー転送を可能にします。AutoVRLは、GPS、IMU、LiDAR、カメラなどのセンサー実装、AGV制御用のアクチュエーター、現実的な環境を備えており、新しい環境やAGVモデルのための拡張性も備えています。このシミュレータは、最新のDRLアルゴリズムへのアクセスを提供し、Pythonインターフェイスを利用してアルゴリズムや環境のカスタマイズ、シミュレーションの実行を簡単に行うことができます。

要約(オリジナル)

Deep Reinforcement Learning (DRL) enables cognitive Autonomous Ground Vehicle (AGV) navigation utilizing raw sensor data without a-priori maps or GPS, which is a necessity in hazardous, information poor environments such as regions where natural disasters occur, and extraterrestrial planets. The substantial training time required to learn an optimal DRL policy, which can be days or weeks for complex tasks, is a major hurdle to real-world implementation in AGV applications. Training entails repeated collisions with the surrounding environment over an extended time period, dependent on the complexity of the task, to reinforce positive exploratory, application specific behavior that is expensive, and time consuming in the real-world. Effectively bridging the simulation to real-world gap is a requisite for successful implementation of DRL in complex AGV applications, enabling learning of cost-effective policies. We present AutoVRL, an open-source high fidelity simulator built upon the Bullet physics engine utilizing OpenAI Gym and Stable Baselines3 in PyTorch to train AGV DRL agents for sim-to-real policy transfer. AutoVRL is equipped with sensor implementations of GPS, IMU, LiDAR and camera, actuators for AGV control, and realistic environments, with extensibility for new environments and AGV models. The simulator provides access to state-of-the-art DRL algorithms, utilizing a python interface for simple algorithm and environment customization, and simulation execution.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL