SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

要約

近年、ロボット強化学習（RL）の分野で大きな進歩があり、複雑な画像観察を処理し、現実世界でトレーニングし、デモンストレーションや以前の経験などの補助データを組み込む方法が可能になりました。
しかし、これらの進歩にもかかわらず、ロボット RL は依然として使いにくいです。
これらのアルゴリズムの特定の実装の詳細は、多くの場合、アルゴリズムの選択と同じくらい (またはそれ以上に) パフォーマンスにとって重要であることが実務者の間で認識されています。
我々は、ロボットによる RL の広範な採用、およびロボットによる RL 手法のさらなる開発に対する重大な課題は、そのような手法が比較的アクセスしにくいことであると考えています。
この課題に対処するために、私たちは、報酬の計算と環境のリセット方法、広く採用されているロボット用の高品質コントローラー、および多くの課題を解決するための効率的なオフポリシーディープ RL メソッドのサンプルを含む慎重に実装されたライブラリを開発しました。
タスクの例。
私たちはこのライブラリをコミュニティのリソースとして提供し、その設計上の選択について説明し、実験結果を提示します。
おそらく驚くべきことに、私たちの実装は非常に効率的な学習を達成でき、PCB 基板のアセンブリ、ケーブル配線、オブジェクトの再配置のポリシーを 1 ポリシーあたり平均 25 ～ 50 分のトレーニングで取得でき、報告された最先端の結果よりも改善されていることがわかりました。
文献内の同様のタスクに使用します。
これらのポリシーは、完璧またはほぼ完璧な成功率、摂動下でも極めて堅牢性を達成し、緊急の回復および修正動作を示します。
これらの有望な結果と私たちの高品質なオープンソース実装が、ロボット RL のさらなる開発を促進するためのツールをロボット工学コミュニティに提供することを願っています。
コード、ドキュメント、ビデオは https://serl-robot.github.io/ でご覧いただけます。

要約(オリジナル)

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google