Efficient Sim-to-real Transfer of Contact-Rich Manipulation Skills with Online Admittance Residual Learning

要約

接触が多い操作スキルを学ぶことが不可欠です。
このようなスキルでは、安全で安定した接触を可能にするために、ロボットが実行可能な操作軌道と適切なコンプライアンス制御パラメータで環境と対話する必要があります。
ただし、現実世界ではデータが非効率であり、シミュレーションではシミュレーションと現実のギャップがあるため、これらのスキルを習得するのは困難です。
このペーパーでは、堅牢な操作スキルを学習するためのオフラインとオンラインのハイブリッド フレームワークを紹介します。
オフライン段階でモデルフリー強化学習を採用し、シミュレーション \RV{ドメインランダム化あり} でロボットの動作とコンプライアンスの制御パラメーターを取得します。
続いて、オンライン段階で、リアルタイムの力センサー測定によりロボットのパフォーマンス関連の基準を最大化するために、コンプライアンス制御パラメータの残差を学習します。
私たちのアプローチの有効性と堅牢性を実証するために、組み立て、ピボット、ねじ締め作業の既存の方法と比較した結果を提供します。

要約(オリジナル)

Learning contact-rich manipulation skills is essential. Such skills require the robots to interact with the environment with feasible manipulation trajectories and suitable compliance control parameters to enable safe and stable contact. However, learning these skills is challenging due to data inefficiency in the real world and the sim-to-real gap in simulation. In this paper, we introduce a hybrid offline-online framework to learn robust manipulation skills. We employ model-free reinforcement learning for the offline phase to obtain the robot motion and compliance control parameters in simulation \RV{with domain randomization}. Subsequently, in the online phase, we learn the residual of the compliance control parameters to maximize robot performance-related criteria with force sensor measurements in real time. To demonstrate the effectiveness and robustness of our approach, we provide comparative results against existing methods for assembly, pivoting, and screwing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google