Self-Supervised Visuo-Tactile Pretraining to Locate and Follow Garment Features

要約

人間は視覚と触覚を相補的な感覚として広範囲に利用しており、視覚はシーンに関するグローバルな情報を提供し、触覚は操作中に遮蔽に悩まされることなく局所的な情報を測定します。
これまでの研究では、変形可能物の正確な操作に対する触覚センシングの有効性が実証されていますが、通常は、人間がラベルを付けた教師付きデータセットに依存しています。
我々は、クロスモーダル監視を通じて自己監視型でマルチタスクの視覚触覚表現を学習するためのフレームワークである自己監視視覚触覚事前トレーニング（SSVTP）を提案します。
私たちは、ロボットが正確に空間的に位置合わせされた視覚画像と触覚画像のペアを自律的に収集し、クロスモーダルコントラスト損失を使用してこれらのペアを共有潜在空間に埋め込むように視覚エンコーダーと触覚エンコーダーをトレーニングできるメカニズムを設計します。
この潜在空間を、平らな表面上の変形可能な衣類の下流側の認識と制御に適用し、特徴分類、接触位置特定、異常検出、視覚クエリからの特徴検索（例:
、オクルージョン下での衣服の特徴の位置特定）、および布の端に沿ったエッジ追跡。
事前トレーニングされた表現は、これら 5 つのタスクで 73 ～ 100% の成功率を達成します。

要約(オリジナル)

Humans make extensive use of vision and touch as complementary senses, with vision providing global information about the scene and touch measuring local information during manipulation without suffering from occlusions. While prior work demonstrates the efficacy of tactile sensing for precise manipulation of deformables, they typically rely on supervised, human-labeled datasets. We propose Self-Supervised Visuo-Tactile Pretraining (SSVTP), a framework for learning multi-task visuo-tactile representations in a self-supervised manner through cross-modal supervision. We design a mechanism that enables a robot to autonomously collect precisely spatially-aligned visual and tactile image pairs, then train visual and tactile encoders to embed these pairs into a shared latent space using cross-modal contrastive loss. We apply this latent space to downstream perception and control of deformable garments on flat surfaces, and evaluate the flexibility of the learned representations without fine-tuning on 5 tasks: feature classification, contact localization, anomaly detection, feature search from a visual query (e.g., garment feature localization under occlusion), and edge following along cloth edges. The pretrained representations achieve a 73-100% success rate on these 5 tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google