Toward Zero-Shot Sim-to-Real Transfer Learning for Pneumatic Soft Robot 3D Proprioceptive Sensing

要約

空気圧ソフトロボットは、操作タスクにおいて多くの利点を提供します。
特に、固有のコンプライアンスにより、構造化されていない脆弱な環境での安全性と信頼性が向上します。
ただし、空気圧ソフトロボットの全身形状センシングは、自由度が高く、変形動作が複雑であるため、困難です。
埋め込みカメラとディープ ラーニングに依存する視覚ベースの固有受容センシング方法は、高次元センシング データから全身形状情報を抽出することにより、固有受容センシングに優れたソリューションを提供します。
しかし、現在のトレーニング データ収集プロセスでは、多くのアプリケーションでそれが困難になっています。
この課題に対処するために、忠実度の高い点群表現でソフトロボットの形状情報を収集できる堅牢な sim-to-real パイプラインを提案し、実証します。
シミュレートされたデータでトレーニングされたモデルは、実際の内部カメラ画像で評価されました。
結果は、モデルが、長さ 100.0 mm の空気圧式ソフト ロボットの外部摂動があっても、8.85 mm の平均面取り距離と 10.12 mm の先端位置誤差で機能したことを示しています。
また、ビジョンベースの再構成結果を改善するために、視覚パターンのさまざまな構成を調査するための sim-to-real パイプラインの可能性も示しました。
コードとデータセットは、https://github.com/DeepSoRo/DeepSoRoSim2Real で入手できます。

要約(オリジナル)

Pneumatic soft robots present many advantages in manipulation tasks. Notably, their inherent compliance makes them safe and reliable in unstructured and fragile environments. However, full-body shape sensing for pneumatic soft robots is challenging because of their high degrees of freedom and complex deformation behaviors. Vision-based proprioception sensing methods relying on embedded cameras and deep learning provide a good solution to proprioception sensing by extracting the full-body shape information from the high-dimensional sensing data. But the current training data collection process makes it difficult for many applications. To address this challenge, we propose and demonstrate a robust sim-to-real pipeline that allows the collection of the soft robot’s shape information in high-fidelity point cloud representation. The model trained on simulated data was evaluated with real internal camera images. The results show that the model performed with averaged Chamfer distance of 8.85 mm and tip position error of 10.12 mm even with external perturbation for a pneumatic soft robot with a length of 100.0 mm. We also demonstrated the sim-to-real pipeline’s potential for exploring different configurations of visual patterns to improve vision-based reconstruction results. The code and dataset are available at https://github.com/DeepSoRo/DeepSoRoSim2Real.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google