Contact Reduction with Bounded Stiffness for Robust Sim-to-Real Transfer of Robot Assembly

要約

sim-to-real 強化学習 (RL) では、ポリシーはシミュレートされた環境でトレーニングされ、物理システムに展開されます。
sim-to-real RL の主な課題は、現実のギャップ、つまり現実世界とシミュレートされた対応物との間の相違を克服することです。
凸分解、三角形メッシュ、符号付き距離フィールドなどの一般的な幾何学的表現を使用すると、シミュレーションの忠実度が向上し、現実とのギャップが縮まる可能性があります。
これらのアプローチに共通するのは、幾何学的に複雑なオブジェクトに対して多数の接触点が生成されるため、シミュレーションが遅くなり、数値が不安定になる可能性があるということです。
接触削減手法は接触点の数を制限することでこれらの問題に対処しますが、sim-to-real RL に対するこれらの手法の有効性は確認されていません。
この論文では、シミュレーション精度を向上させるために、境界のある剛性を備えた接触低減方法を紹介します。
私たちの実験では、提案された方法により、狭いクリアランスのダブルピン挿入タスクの RL ポリシーのトレーニングが非常に可能になり、そのポリシーを剛性の位置制御された物理ロボットにうまく展開できることがわかりました。

要約(オリジナル)

In sim-to-real Reinforcement Learning (RL), a policy is trained in a simulated environment and then deployed on the physical system. The main challenge of sim-to-real RL is to overcome the reality gap – the discrepancies between the real world and its simulated counterpart. Using general geometric representations, such as convex decomposition, triangular mesh, signed distance field can improve simulation fidelity, and thus potentially narrow the reality gap. Common to these approaches is that many contact points are generated for geometrically-complex objects, which slows down simulation and may cause numerical instability. Contact reduction methods address these issues by limiting the number of contact points, but the validity of these methods for sim-to-real RL has not been confirmed. In this paper, we present a contact reduction method with bounded stiffness to improve the simulation accuracy. Our experiments show that the proposed method critically enables training RL policy for a tight-clearance double pin insertion task and successfully deploying the policy on a rigid, position-controlled physical robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google