TransForce: Transferable Force Prediction for Vision-based Tactile Sensors with Sequential Image Translation

要約

ビジョンベースの触覚センサー（VBTS）は、ロボットの操作に不可欠な高解像度の触覚画像を提供します。
ただし、VBTSSの力センシングは、ペアの触覚画像と力ラベルを獲得するための費用がかかり、時間に及ぶプロセスのために活用されていません。
この研究では、特にせん断方向における予測力の精度を改善しながら、さまざまな照明色とマーカーパターンの下で、収集された画像筋対ペアのデータを収集した新しいセンサーの収集可能な画像ペア付きデータを活用するように設計された転送可能な力予測モデルであるTransforceを導入します。
私たちのモデルは、ソースドメインからターゲットドメインへの触覚画像の翻訳を効果的に実現し、生成された触覚画像が新しいセンサーの照明の色とマーカーパターンを反映しながら、既存のセンサーで観察されるエラストマーの変形を正確に整列させることを保証します。
このように、生成された連続した触覚画像と既存の力ラベルで訓練された再発力予測モデルを使用して、0.69Nの最低平均誤差（5.8 \％）の新しいセンサーの高精度力を推定して、$ x $ axis、0.70n（5.8 \％）で$ x $ axis（5.8 \％）で、$ -axisを含む1.11n（6.9％）を含む（5.8 \％）。
画像。
実験結果はまた、純粋なマーカーモダリティがせん断方向の力の精度を改善するRGBモダリティよりも役立つことを明らかにし、RGBモダリティは通常の方向でより良いパフォーマンスを示しています。

要約(オリジナル)

Vision-based tactile sensors (VBTSs) provide high-resolution tactile images crucial for robot in-hand manipulation. However, force sensing in VBTSs is underutilized due to the costly and time-intensive process of acquiring paired tactile images and force labels. In this study, we introduce a transferable force prediction model, TransForce, designed to leverage collected image-force paired data for new sensors under varying illumination colors and marker patterns while improving the accuracy of predicted forces, especially in the shear direction. Our model effectively achieves translation of tactile images from the source domain to the target domain, ensuring that the generated tactile images reflect the illumination colors and marker patterns of the new sensors while accurately aligning the elastomer deformation observed in existing sensors, which is beneficial to force prediction of new sensors. As such, a recurrent force prediction model trained with generated sequential tactile images and existing force labels is employed to estimate higher-accuracy forces for new sensors with lowest average errors of 0.69N (5.8\% in full work range) in $x$-axis, 0.70N (5.8\%) in $y$-axis, and 1.11N (6.9\%) in $z$-axis compared with models trained with single images. The experimental results also reveal that pure marker modality is more helpful than the RGB modality in improving the accuracy of force in the shear direction, while the RGB modality show better performance in the normal direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google