3D Vision-tactile Reconstruction from Infrared and Visible Images for Robotic Fine-grained Tactile Perception

要約

擬人化グリッパーで人間のような触覚知覚を達成するには、視力触覚センサー（VTS）の準拠したセンシング表面は、従来の平面構成から連続表面勾配を持つ生体模倣的に湾曲した地形に進化する必要があります。
ただし、平面VTSには、表面の照明が不十分である、再構築のぼやけ、表面構造の複雑な空間境界条件など、湾曲した表面に拡張すると課題があります。
人間のような指先を構築するという最終目標により、私たちの研究は、プリズムと近赤外（NIR）カメラでイメージングチャネルを拡張することによりGelsPlitter3Dを開発します。
表面積分のエラー。
より良い触覚センシングパフォーマンス、通常の推定精度の40 $ \％$の改善、および把握および操作タスクにおけるセンサー形状の利点を示します。

要約(オリジナル)

To achieve human-like haptic perception in anthropomorphic grippers, the compliant sensing surfaces of vision tactile sensor (VTS) must evolve from conventional planar configurations to biomimetically curved topographies with continuous surface gradients. However, planar VTSs have challenges when extended to curved surfaces, including insufficient lighting of surfaces, blurring in reconstruction, and complex spatial boundary conditions for surface structures. With an end goal of constructing a human-like fingertip, our research (i) develops GelSplitter3D by expanding imaging channels with a prism and a near-infrared (NIR) camera, (ii) proposes a photometric stereo neural network with a CAD-based normal ground truth generation method to calibrate tactile geometry, and (iii) devises a normal integration method with boundary constraints of depth prior information to correcting the cumulative error of surface integrals. We demonstrate better tactile sensing performance, a 40$\%$ improvement in normal estimation accuracy, and the benefits of sensor shapes in grasping and manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google