Low-cost Real-world Implementation of the Swing-up Pendulum for Deep Reinforcement Learning Experiments

要約

Deep Rehnection Learning（DRL）は仮想ドメインとシミュレーションドメインで成功していますが、シミュレートされた環境と実際の環境の間の重要な違いにより、DRLトレーニングを受けたポリシーは、実際のアプリケーションで成功しました。
このホワイトペーパーでは、研究者が\ textit {sim-to-realギャップ}を橋渡しするのを支援するために、SIM-to-Real DRLメソッドを探索するための低コストの物理的逆振り子装置とソフトウェア環境について説明します。
特に、私たちの装置の設計により、感知、通信、学習、推測、および作動時に物理システムで生じる遅延を詳細に調べることができます。
さらに、私たちは教育システムへのアクセスを改善したいと考えているため、私たちの装置は、コストと物流の障壁を削減するために、容易に利用可能な材料と部品を使用します。
私たちの設計は、一般的な金属押出、ダボ、3D印刷された結合と組み合わされた商用、既製の電子機器、電気機械およびセンサーシステムが、手頃な物理DRL装置の経路をどのように提供するかを示しています。
物理的な装置は、高忠実度の物理学エンジンとOpenaiジムインターフェイスを使用して実装されたシミュレートされた環境で補完されます。

要約(オリジナル)

Deep reinforcement learning (DRL) has had success in virtual and simulated domains, but due to key differences between simulated and real-world environments, DRL-trained policies have had limited success in real-world applications. To assist researchers to bridge the \textit{sim-to-real gap}, in this paper, we describe a low-cost physical inverted pendulum apparatus and software environment for exploring sim-to-real DRL methods. In particular, the design of our apparatus enables detailed examination of the delays that arise in physical systems when sensing, communicating, learning, inferring and actuating. Moreover, we wish to improve access to educational systems, so our apparatus uses readily available materials and parts to reduce cost and logistical barriers. Our design shows how commercial, off-the-shelf electronics and electromechanical and sensor systems, combined with common metal extrusions, dowel and 3D printed couplings provide a pathway for affordable physical DRL apparatus. The physical apparatus is complemented with a simulated environment implemented using a high-fidelity physics engine and OpenAI Gym interface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google