Zero-shot Sim-to-Real Transfer for Reinforcement Learning-based Visual Servoing of Soft Continuum Arms

要約

柔らかい連続腕（SCAS）柔らかく変形可能な自然は、無限の自由度と非線形行動のために、モデリングと制御に課題を提示します。
この作業では、曲げとねじれが可能な単一の空気圧マニピュレーターで実証された、ゼロショットSIMからリアルへの転送機能を備えたSCASの視覚サーボのタスクのための強化学習（RL）ベースのフレームワークを紹介します。
このフレームワークは、運動計画のためのRL運動学的コントローラーと作動洗練のためのローカルコントローラーを使用して、運動学を機械的特性から切り離し、視覚的なフィードバックで最小センシングを活用します。
完全にシミュレーションでトレーニングされたRLコントローラーは、99.8％の成功率を達成しました。
ハードウェアに展開すると、ゼロショットSIMからリアルへの転送で67％の成功率が達成され、堅牢性と適応性が実証されました。
このアプローチは、3DビジュアルサーボにおけるSCASのスケーラブルなソリューションを提供し、さらに改良および拡張されたアプリケーションの可能性があります。

要約(オリジナル)

Soft continuum arms (SCAs) soft and deformable nature presents challenges in modeling and control due to their infinite degrees of freedom and non-linear behavior. This work introduces a reinforcement learning (RL)-based framework for visual servoing tasks on SCAs with zero-shot sim-to-real transfer capabilities, demonstrated on a single section pneumatic manipulator capable of bending and twisting. The framework decouples kinematics from mechanical properties using an RL kinematic controller for motion planning and a local controller for actuation refinement, leveraging minimal sensing with visual feedback. Trained entirely in simulation, the RL controller achieved a 99.8% success rate. When deployed on hardware, it achieved a 67% success rate in zero-shot sim-to-real transfer, demonstrating robustness and adaptability. This approach offers a scalable solution for SCAs in 3D visual servoing, with potential for further refinement and expanded applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google