A Review of Nine Physics Engines for Reinforcement Learning Research

要約

強化学習 (RL) 研究で使用される一般的なシミュレーション エンジンとフレームワークのレビューを紹介します。これは、研究者が RL およびトレーニング セットアップ用のシミュレートされた物理環境を作成するためのツールを選択する際のガイドとなることを目的としています。
この評価では、9 つ​​のフレームワーク (Brax、Chrono、Gazebo、MuJoCo、ODE、PhysX、PyBullet、Webots、Unity) を人気、機能範囲、品質、使いやすさ、RL 機能に基づいて評価します。
詳細な比較や各フレームワークの機能の理解の必要性など、RL 研究用の物理エンジンを選択して利用する際の課題を強調します。
主な調査結果は、ユーザビリティに課題があるにもかかわらず、MuJoCo がそのパフォーマンスと柔軟性により主要なフレームワークであることを示しています。
Unity は使いやすさで知られていますが、スケーラビリティとシミュレーションの忠実性に欠けています。
この研究では、シミュレーション エンジンの使いやすさとパフォーマンスを向上させるためのさらなる開発が求められており、RL 研究における透明性と再現性の重要性が強調されています。
このレビューは、シミュレーション エンジンの選択プロセスに関する洞察を提供し、情報に基づいた意思決定を促進することで、RL コミュニティに貢献します。

要約(オリジナル)

We present a review of popular simulation engines and frameworks used in reinforcement learning (RL) research, aiming to guide researchers in selecting tools for creating simulated physical environments for RL and training setups. It evaluates nine frameworks (Brax, Chrono, Gazebo, MuJoCo, ODE, PhysX, PyBullet, Webots, and Unity) based on their popularity, feature range, quality, usability, and RL capabilities. We highlight the challenges in selecting and utilizing physics engines for RL research, including the need for detailed comparisons and an understanding of each framework’s capabilities. Key findings indicate MuJoCo as the leading framework due to its performance and flexibility, despite usability challenges. Unity is noted for its ease of use but lacks scalability and simulation fidelity. The study calls for further development to improve simulation engines’ usability and performance and stresses the importance of transparency and reproducibility in RL research. This review contributes to the RL community by offering insights into the selection process for simulation engines, facilitating informed decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google