An Real-Sim-Real (RSR) Loop Framework for Generalizable Robotic Policy Transfer with Differentiable Simulation

要約

SIMとリアルのギャップは、ロボット工学における重要な課題のままであり、実際のシステムへのシミュレーションでトレーニングされたアルゴリズムの展開を妨げています。
このペーパーでは、シミュレーションパラメーターを反復的に改良し、実際の条件に合わせ、堅牢で効率的なポリシー転送を可能にすることにより、このギャップに対処するための微分可能なシミュレーションを活用する新しいリアルシムリアル（RSR）ループフレームワークを紹介します。
私たちの仕事の重要な貢献は、多様で代表的な現実世界のデータの収集を促進し、バイアスを最小限に抑え、シミュレーションの改良のための各データポイントの有用性を最大化する有益なコスト関数の設計です。
このコスト関数は、既存の強化学習アルゴリズム（PPO、SACなど）にシームレスに統合され、実際のドメインの重要な領域のバランスの取れた探索が保証されます。
さらに、当社のアプローチは多用途のMujoco MJXプラットフォームに実装されており、フレームワークは幅広いロボットシステムと互換性があります。
いくつかのロボット操作タスクの実験結果は、私たちの方法がSIMからリアルのギャップを大幅に削減し、明示的および暗黙的な環境不確実性の両方の多様なシナリオ全体で高いタスクパフォ​​ーマンスと一般化可能性を達成することを示しています。

要約(オリジナル)

The sim-to-real gap remains a critical challenge in robotics, hindering the deployment of algorithms trained in simulation to real-world systems. This paper introduces a novel Real-Sim-Real (RSR) loop framework leveraging differentiable simulation to address this gap by iteratively refining simulation parameters, aligning them with real-world conditions, and enabling robust and efficient policy transfer. A key contribution of our work is the design of an informative cost function that encourages the collection of diverse and representative real-world data, minimizing bias and maximizing the utility of each data point for simulation refinement. This cost function integrates seamlessly into existing reinforcement learning algorithms (e.g., PPO, SAC) and ensures a balanced exploration of critical regions in the real domain. Furthermore, our approach is implemented on the versatile Mujoco MJX platform, and our framework is compatible with a wide range of robotic systems. Experimental results on several robotic manipulation tasks demonstrate that our method significantly reduces the sim-to-real gap, achieving high task performance and generalizability across diverse scenarios of both explicit and implicit environmental uncertainties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google