Touch2Touch: Cross-Modal Tactile Generation for Object Manipulation

要約

現在のタッチ センサーにはさまざまな形状やサイズがあります。
このため、モデルは一般に 1 つの特定のセンサー設計に関連付けられているため、汎用タッチ処理方法の開発が困難になっています。
私たちは、タッチ センサー間でクロスモーダル予測を実行することでこの問題に対処します。1 つのセンサーからの触覚信号が与えられた場合、生成モデルを使用して、同じ物理的接触が別のセンサーでどのように認識されるかを推定します。
これにより、生成された信号にセンサー固有のメソッドを適用できるようになります。
私たちは、人気のある GelSlim センサーと Soft Bubble センサーの間で変換する拡散モデルをトレーニングすることで、このアイデアを実装します。
下流タスクとして、ソフト バブル信号のみで動作するアルゴリズムを使用しながら、GelSlim センサーを使用して手持ちのオブジェクトの姿勢推定を実行します。
データセット、コード、その他の詳細は、https://www.mmintlab.com/research/touch2touch/ でご覧いただけます。

要約(オリジナル)

Today’s touch sensors come in many shapes and sizes. This has made it challenging to develop general-purpose touch processing methods since models are generally tied to one specific sensor design. We address this problem by performing cross-modal prediction between touch sensors: given the tactile signal from one sensor, we use a generative model to estimate how the same physical contact would be perceived by another sensor. This allows us to apply sensor-specific methods to the generated signal. We implement this idea by training a diffusion model to translate between the popular GelSlim and Soft Bubble sensors. As a downstream task, we perform in-hand object pose estimation using GelSlim sensors while using an algorithm that operates only on Soft Bubble signals. The dataset, the code, and additional details can be found at https://www.mmintlab.com/research/touch2touch/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google