Look-to-Touch: A Vision-Enhanced Proximity and Tactile Sensor for Distance and Geometry Perception in Robotic Manipulation

要約

カメラベースの触覚センサーは、環境知覚と器用な操作のための高性能触覚センシングアプローチをロボットに提供します。
ただし、包括的な環境認識を達成するには、追加のセンサーとの協力が依然として必要であるため、システムはかさばられ、その適応性が構造化されていない環境への適応性を制限します。
この作業では、視力強化カメラベースのデュアルモダリティセンサーを紹介します。これは、50 cmから-3 mmのフルスケールの距離センシングを実現し、同時に超高解像度のテクスチャセンシングと再構築機能を維持します。
固定された不透明ゲル層を備えた従来のデザインとは異なり、センサーは部分的に透明なスライドウィンドウを備えており、触覚モードと視覚モードの間の機械的スイッチングを可能にします。
各センシングモードについて、動的距離センシングモデルと連絡先ジオメトリ再構成モデ​​ルが提案されています。
ソフトロボットフィンガーとの統合を通じて、各モードのパフォーマンスを体系的に評価し、それらの相乗作用を操作します。
実験結果は、さまざまな速度、ナノメートルスケールの粗さの検出、およびサブミリメーター3Dテクスチャの再構築にわたる堅牢な距離追跡を示しています。
両方のモダリティの組み合わせにより、把握タスクの実行におけるロボットの効率が向上します。
さらに、センサーに埋め込まれた機械式伝送により、きめの粒子内の調整と正確な操作が可能になり、ソフトロボットハンドの新しい機能が解除されます。

要約(オリジナル)

Camera-based tactile sensors provide robots with a high-performance tactile sensing approach for environment perception and dexterous manipulation. However, achieving comprehensive environmental perception still requires cooperation with additional sensors, which makes the system bulky and limits its adaptability to unstructured environments. In this work, we present a vision-enhanced camera-based dual-modality sensor, which realizes full-scale distance sensing from 50 cm to -3 mm while simultaneously keeping ultra-high-resolution texture sensing and reconstruction capabilities. Unlike conventional designs with fixed opaque gel layers, our sensor features a partially transparent sliding window, enabling mechanical switching between tactile and visual modes. For each sensing mode, a dynamic distance sensing model and a contact geometry reconstruction model are proposed. Through integration with soft robotic fingers, we systematically evaluate the performance of each mode, as well as in their synergistic operation. Experimental results show robust distance tracking across various speeds, nanometer-scale roughness detection, and sub-millimeter 3D texture reconstruction. The combination of both modalities improves the robot’s efficiency in executing grasping tasks. Furthermore, the embedded mechanical transmission in the sensor allows for fine-grained intra-hand adjustments and precise manipulation, unlocking new capabilities for soft robotic hands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google