FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills

要約

シミュレーションは、ハードウェア消費量を削減し、大規模なデータを収集するためにロボット工学で広く使用されているツールです。
光学式触覚センサーをシミュレートするこれまでの取り組みにも関わらず、効率的に画像を合成し、異なる接触荷重下でマーカーの動きを再現することには課題が残っています。
この研究では、光触覚センサーをシミュレートするための、FOTS と呼ばれる高速光触覚シミュレーターを提案します。
多層パーセプトロン マッピングと平面シャドウ生成を利用して光学応答をシミュレートし、同時にマーカー分布近似を使用してエラストマーの変形によって引き起こされる表面マーカーの動きをシミュレートします。
実験結果は、FOTS が画像生成品質とレンダリング速度の点で他の方法よりも優れており、GPU アクセラレーションなしの単一 CPU 上で光学シミュレーションで 28.6 fps、マーカー モーション シミュレーションで 326.1 fps を達成することを示しています。
さらに、FOTS シミュレーション モデルを MuJoCo などの物理エンジンと統合し、ペグ イン ホール タスクは、触覚モーター ロボットの操作スキルのゼロショット Sim2Real 学習を達成する際の私たちの方法の有効性を示しています。
私たちのコードは https://github.com/Rancho-zhao/FOTS で入手できます。

要約(オリジナル)

Simulation is a widely used tool in robotics to reduce hardware consumption and gather large-scale data. Despite previous efforts to simulate optical tactile sensors, there remain challenges in efficiently synthesizing images and replicating marker motion under different contact loads. In this work, we propose a fast optical tactile simulator, named FOTS, for simulating optical tactile sensors. We utilize multi-layer perceptron mapping and planar shadow generation to simulate the optical response, while employing marker distribution approximation to simulate the motion of surface markers caused by the elastomer deformation. Experimental results demonstrate that FOTS outperforms other methods in terms of image generation quality and rendering speed, achieving 28.6 fps for optical simulation and 326.1 fps for marker motion simulation on a single CPU without GPU acceleration. In addition, we integrate the FOTS simulation model with physical engines like MuJoCo, and the peg-in-hole task demonstrates the effectiveness of our method in achieving zero-shot Sim2Real learning of tactile-motor robot manipulation skills. Our code is available at https://github.com/Rancho-zhao/FOTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google