Proximity and Visuotactile Point Cloud Fusion for Contact Patches in Extreme Deformation

要約

ロボットに触覚を装備することは、現実世界の操作タスクにおいて人間の能力をエミュレートするために重要です。
視覚触覚センサーは、コンピューター ビジョン アルゴリズムと互換性のあるデータ出力と、ローカル オブジェクトの形状の正確で高解像度の推定により、人気のある触覚センシング戦略です。
しかし、これらのセンサーは、物体との相互作用中の感知面の大きな変形に対応するのに苦労しており、現実世界で頻繁に遭遇するcmスケールの物体とのより多くの情報を提供する接触を妨げています。
視覚触覚センサーのソフトインターフェースは超弾性エラストマーで作られることが多く、触覚情報のために極端に変形すると、迅速かつ正確にシミュレーションすることが困難になります。
さらに、厳密な内部光条件やパターン追跡に依存する多くの視覚触覚センサーは、表面が大きく変形すると機能しません。
この研究では、膜力学から完全に独立した接触パッチのセグメンテーションのために、近接点群と視覚触覚点群を融合するアルゴリズムを提案します。
このアルゴリズムは、視覚触覚センシングに可視光を使用し、近接深度に赤外光を使用する、非常に変形可能な選択的透過性の柔らかい膜によって可能になる同期高解像度近接モダリティと視覚触覚モダリティを活用します。
ハードウェア設計、膜の製造、および低 (10%)、中 (60%)、および高 (100%+) 膜ひずみ状態におけるコンタクト パッチ アルゴリズムの評価を示します。
私たちはアルゴリズムを 3 つのベースライン (近接のみ、触覚のみ、膜力学モデル) と比較します。
私たちが提案したアルゴリズムは、すべてのひずみ範囲にわたって接触パッチ形状の 2.8 mm 未満の平均 RMSE を備え、すべてのベースラインを上回ります。
さまざまな剛性の膜、トルクとせん断によるしわ、全身操作のための閉ループ制御、姿勢推定の 4 つのアプリケーションで、コンタクト パッチ アルゴリズムを実証します。

要約(オリジナル)

Equipping robots with the sense of touch is critical to emulating the capabilities of humans in real world manipulation tasks. Visuotactile sensors are a popular tactile sensing strategy due to data output compatible with computer vision algorithms and accurate, high resolution estimates of local object geometry. However, these sensors struggle to accommodate high deformations of the sensing surface during object interactions, hindering more informative contact with cm-scale objects frequently encountered in the real world. The soft interfaces of visuotactile sensors are often made of hyperelastic elastomers, which are difficult to simulate quickly and accurately when extremely deformed for tactile information. Additionally, many visuotactile sensors that rely on strict internal light conditions or pattern tracking will fail if the surface is highly deformed. In this work, we propose an algorithm that fuses proximity and visuotactile point clouds for contact patch segmentation that is entirely independent from membrane mechanics. This algorithm exploits the synchronous, high-res proximity and visuotactile modalities enabled by an extremely deformable, selectively transmissive soft membrane, which uses visible light for visuotactile sensing and infrared light for proximity depth. We present the hardware design, membrane fabrication, and evaluation of our contact patch algorithm in low (10%), medium (60%), and high (100%+) membrane strain states. We compare our algorithm against three baselines: proximity-only, tactile-only, and a membrane mechanics model. Our proposed algorithm outperforms all baselines with an average RMSE under 2.8mm of the contact patch geometry across all strain ranges. We demonstrate our contact patch algorithm in four applications: varied stiffness membranes, torque and shear-induced wrinkling, closed loop control for whole body manipulation, and pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google