FeelAnyForce: Estimating Contact Force Feedback from Tactile Sensation for Vision-Based Tactile Sensors

要約

本論文では、視覚ベースの触覚センサを用いた3次元接触力の推定問題に取り組む。特に、我々の目標は、異なる視覚ベースの触覚センサ間で汎化しながら、あらゆる物体の大きな範囲（最大15N）の接触力を推定することである。そのため、我々は、力センサーに取り付けられたGelSight Miniセンサーに様々な圧痕を押し付けるロボットアームを用いて200K以上の圧痕のデータセットを収集し、そのデータを用いて力回帰のためのマルチヘッド変換器を訓練した。正確なデータ収集と奥行き接触画像を活用した多目的最適化により、強力な汎化が達成された。原始的な形状とテクスチャに対してのみ学習されたにもかかわらず、この回帰器は、未見の実世界オブジェクトのデータセットにおいて、平均絶対誤差4％を達成した。さらに、他のGelSight miniやDIGITセンサーへの本アプローチの汎化能力を評価し、事前に訓練されたモデルを他の視覚ベースのセンサーに適応させるための再現可能なキャリブレーション手順を提案する。さらに、物体の重量測定や、正確な力フィードバックに依存する繊細な物体の変形制御など、実世界のタスクで本手法を評価した。プロジェクトのウェブページ: http://prg.cs.umd.edu/FeelAnyForce

要約(オリジナル)

In this paper, we tackle the problem of estimating 3D contact forces using vision-based tactile sensors. In particular, our goal is to estimate contact forces over a large range (up to 15 N) on any objects while generalizing across different vision-based tactile sensors. Thus, we collected a dataset of over 200K indentations using a robotic arm that pressed various indenters onto a GelSight Mini sensor mounted on a force sensor and then used the data to train a multi-head transformer for force regression. Strong generalization is achieved via accurate data collection and multi-objective optimization that leverages depth contact images. Despite being trained only on primitive shapes and textures, the regressor achieves a mean absolute error of 4\% on a dataset of unseen real-world objects. We further evaluate our approach’s generalization capability to other GelSight mini and DIGIT sensors, and propose a reproducible calibration procedure for adapting the pre-trained model to other vision-based sensors. Furthermore, the method was evaluated on real-world tasks, including weighing objects and controlling the deformation of delicate objects, which relies on accurate force feedback. Project webpage: http://prg.cs.umd.edu/FeelAnyForce

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL