SeeThruFinger: See and Grasp Anything with a Multi-Modal Soft Touch

要約

SeeThruFingerは、マーカーレスのSee-Thru-Networkを用いた視覚ベースの触覚センシング（VBTS）アーキテクチャである。このアーキテクチャは、視覚認識と触覚センシングを同時に実現し、全方向の適応的な把持による操作を可能にします。学習する知的ロボットを構築する上で、内在的・外在的相互作用のマルチモーダル知覚は非常に重要である。異なるモダリティのために様々なセンサーを追加する代わりに、それらを1つのエレガントで首尾一貫したデザインに統合することが望ましい解決策であるが、これは困難な課題である。本研究では、指先の視覚を活用して、外部環境の隠蔽領域を塗り潰し、視覚知覚のための首尾一貫したシーン再構築を実現する。ソフト多面体ネットワークの大規模な変形をリアルタイムでセグメンテーションすることで、6次元の力とトルクのリアルタイムマーカーレス触覚センシングを実現した。さらに、SeeThruFingerを、外部カメラや専用の力・トルクセンサを用いることなく、反応的な把持に応用することを実証した。その結果、我々の提案するSeeThruFingerアーキテクチャは、シーンインペインティング、オブジェクト検出、セグメンテーショントラッキング、触覚センシングを含む、マーカーレスで単一の指内ビジョンカメラを介したマルチモーダル知覚を可能にする。

要約(オリジナル)

We present SeeThruFinger, a Vision-Based Tactile Sensing (VBTS) architecture using a markerless See-Thru-Network. It achieves simultaneous visual perception and tactile sensing while providing omni-directional, adaptive grasping for manipulation. Multi-modal perception of intrinsic and extrinsic interactions is critical in building intelligent robots that learn. Instead of adding various sensors for different modalities, a preferred solution is to integrate them into one elegant and coherent design, which is a challenging task. This study leverages the in-finger vision to inpaint occluded regions of the external environment, achieving coherent scene reconstruction for visual perception. By tracking real-time segmentation of the Soft Polyhedral Network’s large-scale deformation, we achieved real-time markerless tactile sensing of 6D forces and torques. We further demonstrate the application of the SeeThruFinger for reactive grasping without using external cameras or dedicated force and torque sensors. As a result, our proposed SeeThruFinger architecture enables multi-modal perception via a single in-finger vision camera in a markerless way, including scene inpainting, object detection, segmentation tracking, and tactile sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL