SeeThruFinger: See and Grasp Anything with a Soft Touch

要約

我々は、幾何学的適応性とリアルタイムの反応性把握を実現する、視覚認識と触覚センシングを含むマルチモーダル認識のための指内ビジョンを備えたソフトロボット指である SeeThruFinger を紹介します。
学習するインテリジェント ロボットを構築するには、内因性および外因性の相互作用をマルチモーダルに認識することが重要です。
さまざまなモダリティにさまざまなセンサーを追加する代わりに、それらを 1 つのエレガントで一貫した設計に統合することが望ましい解決策ですが、これは困難な作業です。
この研究では、ソフト多面体ネットワーク設計をロボットの指として活用し、内側から指の空間変形を遮るもののないビューで全方向に適応することができます。
その下に小型カメラを埋め込むことで、E2FGV を使用して指マスクを修復し、外部環境の視覚認識を実現します。これは、把握のための下流タスクでの物体検出に使用できます。
物体と接触した後、XMem などのリアルタイム オブジェクト セグメンテーション アルゴリズムを使用して、ソフトフィンガーの空間変形を追跡します。
また、反応的な把握のために 6D の力とトルクの触覚センシングを可能にする教師あり変分オートエンコーダーも学習しました。
その結果、マルチフィンガーロボットグリッパーと互換性のある単一ビジョンベースのソフトフィンガー設計内で、視覚知覚と触覚センシングを含むマルチモーダル知覚、および柔軟で適応的な物体把握を実現しました。

要約(オリジナル)

We present SeeThruFinger, a soft robotic finger with an in-finger vision for multi-modal perception, including visual perception and tactile sensing, for geometrically adaptive and real-time reactive grasping. Multi-modal perception of intrinsic and extrinsic interactions is critical in building intelligent robots that learn. Instead of adding various sensors for different modalities, a preferred solution is to integrate them into one elegant and coherent design, which is a challenging task. This study leverages the Soft Polyhedral Network design as a robotic finger, capable of omni-directional adaptation with an unobstructed view of the finger’s spatial deformation from the inside. By embedding a miniature camera underneath, we achieve the visual perception of the external environment by inpainting the finger mask using E2FGV, which can be used for object detection in the downstream tasks for grasping. After contacting the objects, we use real-time object segmentation algorithms, such as XMem, to track the soft finger’s spatial deformations. We also learned a Supervised Variational Autoencoder to enable tactile sensing of 6D forces and torques for reactive grasp. As a result, we achieved multi-modal perception, including visual perception and tactile sensing, and soft, adaptive object grasping within a single vision-based soft finger design compatible with multi-fingered robotic grippers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google