TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing

要約

人間は視覚と触覚に頼って、物理環境の包括的な 3D 理解を深めます。
最近、高解像度の視覚ベースの触覚センサーを利用したデータ駆動型アプローチを使用してオブジェクトを探索および操作することへの関心が高まっています。
しかし、触覚センシングを使用した 3D 形状の再構成は、目に見えない形状を一般化できないこと、実世界でのテストが行​​われていないこと、離散表現によって課される表現能力が限られていることなど、既存の技術の限界のため、視覚的な形状の再構成に比べて遅れています。
これらの課題に対処するために、私たちは、視覚ベースの触覚センサーによって提供される豊富な情報と暗黙的な神経表現 DeepSDF の表現力を活用する、触覚 3D 形状再構成のための深層学習アプローチである TouchSDF を提案します。
私たちの技術は 2 つのコンポーネントで構成されます。(1) 触覚画像をタッチ位置の表面を表すローカル メッシュにマッピングする畳み込みニューラル ネットワーク、(2) 必要な 3D 形状を抽出するために符号付き距離関数を予測する暗黙的ニューラル関数。
この組み合わせにより、TouchSDF はシミュレーションや現実世界の設定における触覚入力から滑らかで連続的な 3D 形状を再構築できるようになり、ロボット工学における堅牢な 3D 認識表現と改善されたマルチモーダル知覚のための研究の道が開かれます。
コードと補足資料は https://touchsdf.github.io/ から入手できます。

要約(オリジナル)

Humans rely on their visual and tactile senses to develop a comprehensive 3D understanding of their physical environment. Recently, there has been a growing interest in exploring and manipulating objects using data-driven approaches that utilise high-resolution vision-based tactile sensors. However, 3D shape reconstruction using tactile sensing has lagged behind visual shape reconstruction because of limitations in existing techniques, including the inability to generalise over unseen shapes, the absence of real-world testing, and limited expressive capacity imposed by discrete representations. To address these challenges, we propose TouchSDF, a Deep Learning approach for tactile 3D shape reconstruction that leverages the rich information provided by a vision-based tactile sensor and the expressivity of the implicit neural representation DeepSDF. Our technique consists of two components: (1) a Convolutional Neural Network that maps tactile images into local meshes representing the surface at the touch location, and (2) an implicit neural function that predicts a signed distance function to extract the desired 3D shape. This combination allows TouchSDF to reconstruct smooth and continuous 3D shapes from tactile inputs in simulation and real-world settings, opening up research avenues for robust 3D-aware representations and improved multimodal perception in robotics. Code and supplementary material are available at: https://touchsdf.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google