Augmenting Tactile Simulators with Real-like and Zero-Shot Capabilities

要約

触覚をシミュレートすると、ロボット システムの学習能力を操作タスクに活用できる可能性があります。
しかし、高解像度触覚センサー用のシミュレーターの現実のギャップは依然として大きいです。
シミュレートされたデータでトレーニングされたモデルは、ゼロショット推論で失敗することが多く、実際のデータを使用した微調整が必​​要になります。
さらに、高解像度センサーの開発では通常、平らな表面を持つセンサーに重点が置かれていますが、3D の丸いセンサーは器用な操作に不可欠です。
この論文では、SightGAN と呼ばれる双方向の敵対的生成ネットワーク (GAN) を提案します。
SightGAN は初期の CycleGAN に依存していますが、バックグラウンドと小さな接触痕跡を含む接触パターンを正確に再構築することを目的とした 2 つの追加の損失コンポーネントが含まれています。
提案された SightGAN は、差分画像に対してリアルからシムへのプロセス、およびシムからリアルへのプロセスを学習します。
正確な接触位置を維持しながら、本物のような合成画像を生成することが示されています。
生成された画像は、新しく製造されたセンサーのゼロショット モデルをトレーニングするために使用できます。
その結果、結果として得られるシミュレーションからリアルへのジェネレーターを触覚シミュレーターの上に構築して、現実世界のフレームワークを提供することができます。
このフレームワークは、たとえば操作タスクの強化学習ポリシーのトレーニングに使用できる可能性があります。
提案されたモデルは、実際のセンサーから収集されたテストデータを使用した広範な実験で検証され、触覚画像内に埋め込まれた力の情報を維持することも示されています。

要約(オリジナル)

Simulating tactile perception could potentially leverage the learning capabilities of robotic systems in manipulation tasks. However, the reality gap of simulators for high-resolution tactile sensors remains large. Models trained on simulated data often fail in zero-shot inference and require fine-tuning with real data. In addition, work on high-resolution sensors commonly focus on ones with flat surfaces while 3D round sensors are essential for dexterous manipulation. In this paper, we propose a bi-directional Generative Adversarial Network (GAN) termed SightGAN. SightGAN relies on the early CycleGAN while including two additional loss components aimed to accurately reconstruct background and contact patterns including small contact traces. The proposed SightGAN learns real-to-sim and sim-to-real processes over difference images. It is shown to generate real-like synthetic images while maintaining accurate contact positioning. The generated images can be used to train zero-shot models for newly fabricated sensors. Consequently, the resulted sim-to-real generator could be built on top of the tactile simulator to provide a real-world framework. Potentially, the framework can be used to train, for instance, reinforcement learning policies of manipulation tasks. The proposed model is verified in extensive experiments with test data collected from real sensors and also shown to maintain embedded force information within the tactile images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google