GelSplitter: Tactile Reconstruction from Near Infrared and Visible Images

要約

GelSight のような視覚触覚 (VT) センサーは、ロボット用の高解像度触覚センシング技術として人気を集めており、単一の RGB カメラを使用してタッチ ジオメトリを測定できます。
ただし、VT センサーのマルチモーダル知覚の開発は、モノラル カメラによって制限されるため、依然として課題が残っています。
この論文では、同期したマルチモーダル カメラを備えたマルチモーダル VT センサーにアプローチし、より人間に似た触覚受容体に似た新しいフレームワークである GelSplitter を提案します。
さらに、3D 触覚の再構成に焦点を当て、プリズムと近赤外線 (NIR) カメラを追加した場合でも、最先端の VT センサーと同等のサイズを維持するコンパクトなセンサー構造を実装しています。
また、物体の表面法線を推定し、赤外線画像と可視画像の両方からタッチ ジオメトリを再構築するフォトメトリック フュージョン ステレオ ニューラル ネットワーク (PFSNN) も設計します。
私たちの結果は、RGB と NIR の融合の精度が RGB 画像単独の精度よりも高いことを示しています。
さらに、当社の GelSplitter フレームワークにより、RGB や熱画像など、さまざまなカメラ センサーの組み合わせを柔軟に構成できます。

要約(オリジナル)

The GelSight-like visual tactile (VT) sensor has gained popularity as a high-resolution tactile sensing technology for robots, capable of measuring touch geometry using a single RGB camera. However, the development of multi-modal perception for VT sensors remains a challenge, limited by the mono camera. In this paper, we propose the GelSplitter, a new framework approach the multi-modal VT sensor with synchronized multi-modal cameras and resemble a more human-like tactile receptor. Furthermore, we focus on 3D tactile reconstruction and implement a compact sensor structure that maintains a comparable size to state-of-the-art VT sensors, even with the addition of a prism and a near infrared (NIR) camera. We also design a photometric fusion stereo neural network (PFSNN), which estimates surface normals of objects and reconstructs touch geometry from both infrared and visible images. Our results demonstrate that the accuracy of RGB and NIR fusion is higher than that of RGB images alone. Additionally, our GelSplitter framework allows for a flexible configuration of different camera sensor combinations, such as RGB and thermal imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google