High-Performance Vision-Based Tactile Sensing Enhanced by Microstructures and Lightweight CNN

要約

触覚センシングは、刺激を検出するために人間の触覚をエミュレートすることにより、高度なインタラクティブシステムにおいて重要である。視覚ベースの触覚センサーは、マルチモーダル機能と高いロバスト性を提供するために有望であるが、既存の技術では、感度、空間分解能、およびディープラーニングベースの画像処理の高い計算要求において、まだ限界がある。本論文では、新しい微細構造ベースのセンサー設計と効率的な画像処理を組み合わせた包括的なアプローチを紹介し、慎重に設計された微細構造が、計算負荷を軽減しながら性能を大幅に向上できることを実証する。従来のトラッキングマーカーを用いず、我々のセンサーは微細構造の一例として、微細加工されたトレンチを持つ表面を組み込んでおり、このトレンチは光透過を変調し、加えられた力に対する応答を増幅する。増幅された画像の特徴は、超軽量の畳み込みニューラルネットワークによって抽出され、接触位置、変位、加えられた力を高精度で正確に推測することができる。理論解析により、マイクロトレンチが形状の歪みの視覚効果を大幅に増幅することを実証した。市販のウェブカメラのみを使用したセンサーシステムは、5mN以下の力を効果的に検出し、ミリメートルレベルの1点空間分解能を達成した。畳み込み層が1層しかないモデルを使用して、0.05mm以下の平均絶対誤差を達成した。センサ本体が柔らかいため、ソフトロボットとのシームレスな統合が可能であり、電気的クロストークや干渉に対する耐性があるため、複雑な人間と機械の環境における信頼性が保証されている。

要約(オリジナル)

Tactile sensing is critical in advanced interactive systems by emulating the human sense of touch to detect stimuli. Vision-based tactile sensors are promising for providing multimodal capabilities and high robustness, yet existing technologies still have limitations in sensitivity, spatial resolution, and high computational demands of deep learning-based image processing. This paper presents a comprehensive approach combining a novel microstructure-based sensor design and efficient image processing, demonstrating that carefully engineered microstructures can significantly enhance performance while reducing computational load. Without traditional tracking markers, our sensor incorporates an surface with micromachined trenches, as an example of microstructures, which modulate light transmission and amplify the response to applied force. The amplified image features can be extracted by a ultra lightweight convolutional neural network to accurately inferring contact location, displacement, and applied force with high precision. Through theoretical analysis, we demonstrated that the micro trenches significantly amplified the visual effects of shape distortion. Using only a commercial webcam, the sensor system effectively detected forces below 5 mN, and achieved a millimetre-level single-point spatial resolution. Using a model with only one convolutional layer, a mean absolute error below 0.05 mm was achieved. Its soft sensor body allows seamless integration with soft robots, while its immunity to electrical crosstalk and interference guarantees reliability in complex human-machine environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL