TacEx: GelSight Tactile Simulation in Isaac Sim — Combining Soft-Body and Visuotactile Simulators

要約

ロボット ポリシーをシミュレーションでトレーニングすることはますます人気が高まっています。
それにもかかわらず、接触が多い操作タスク用の、正確で信頼性が高く、使いやすい触覚シミュレーターはまだ存在していません。
このギャップを埋めるために、私たちはモジュール式触覚シミュレーション フレームワークである TacEx を開発しました。
私たちは、GIPC という名前の接触用の最先端のソフトボディ シミュレータと、視覚ベースの触覚シミュレータ Taxim および FOTS を Isaac Sim に組み込み、視覚触覚センサー GelSight Mini の堅牢かつ妥当なシミュレーションを実現しました。
私たちは、オブジェクトの押し込み、持ち上げ、極のバランスなど、TacEx シミュレーションを活用した強化学習 (RL) のためのいくつかの Isaac Lab 環境を実装しています。
シミュレーションが安定していること、およびゲルの変形や GelSight カメラからの RGB 画像などの高次元観察がトレーニングに使用できることを検証します。
コード、ビデオ、追加の結果はオンライン https://sites.google.com/view/tacex で公開されます。

要約(オリジナル)

Training robot policies in simulation is becoming increasingly popular; nevertheless, a precise, reliable, and easy-to-use tactile simulator for contact-rich manipulation tasks is still missing. To close this gap, we develop TacEx — a modular tactile simulation framework. We embed a state-of-the-art soft-body simulator for contacts named GIPC and vision-based tactile simulators Taxim and FOTS into Isaac Sim to achieve robust and plausible simulation of the visuotactile sensor GelSight Mini. We implement several Isaac Lab environments for Reinforcement Learning (RL) leveraging our TacEx simulation, including object pushing, lifting, and pole balancing. We validate that the simulation is stable and that the high-dimensional observations, such as the gel deformation and the RGB images from the GelSight camera, can be used for training. The code, videos, and additional results will be released online https://sites.google.com/view/tacex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google