Contrastive Touch-to-Touch Pretraining

要約

今日の触覚センサーにはさまざまな設計があり、タッチ信号を処理するための汎用方法を開発することが困難になっています。
この論文では、異なる触覚センサー間の共有情報を捉える統一表現について学びます。
再構成やタスク固有の監視に焦点を当てた現在のアプローチとは異なり、私たちは対照学習を活用して、同じ物体が複数のセンサーでプローブされるデータセットを使用して、2 つの異なるセンサーからの触覚信号を共有埋め込み空間に統合します。
このアプローチを、GelSlim センサーと Soft Bubble センサーからのペアのタッチ信号に適用します。
学習された特徴が、下流の姿勢推定および分類タスクに強力な事前トレーニングを提供することを示します。
また、埋め込みにより、1 つのタッチ センサーを使用してトレーニングされたモデルを、追加のトレーニングなしで別のタッチ センサーを使用して展開できることも示します。
プロジェクトの詳細は、https://www.mmintlab.com/research/cttp/ でご覧いただけます。

要約(オリジナル)

Today’s tactile sensors have a variety of different designs, making it challenging to develop general-purpose methods for processing touch signals. In this paper, we learn a unified representation that captures the shared information between different tactile sensors. Unlike current approaches that focus on reconstruction or task-specific supervision, we leverage contrastive learning to integrate tactile signals from two different sensors into a shared embedding space, using a dataset in which the same objects are probed with multiple sensors. We apply this approach to paired touch signals from GelSlim and Soft Bubble sensors. We show that our learned features provide strong pretraining for downstream pose estimation and classification tasks. We also show that our embedding enables models trained using one touch sensor to be deployed using another without additional training. Project details can be found at https://www.mmintlab.com/research/cttp/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google