Learn from Incomplete Tactile Data: Tactile Representation Learning with Masked Autoencoders

要約

物体が遮られたり、センサーが不安定になったりすることによって生じる信号の欠落は、データ収集中の一般的な課題です。
このような信号の欠落はデータから得られる結果に悪影響を及ぼし、この問題はロボットの触覚認識でより頻繁に観察されます。
触覚では、限られた作業スペースと動的環境のため、触覚センサーと物体の接触が不十分で不安定なことが多く、信号の部分的な損失が発生し、触覚データが不完全になります。
したがって、触覚データには、情報密度が低く、より少ない触覚手がかりが含まれることになります。
本稿では、触覚における不完全な触覚データの問題に対処するために、マスクされたオートエンコーダに基づくTacMAEと呼ばれる触覚表現学習方法を提案します。
私たちのフレームワークでは、欠落している接触領域をシミュレートするために、触覚画像の一部がマスクされます。
触覚画像内の欠落信号を再構築することにより、トレーニングされたモデルは、限られた触覚手がかりから表面形状と触覚特性の高度な理解を達成できます。
触感テクスチャ認識の実験結果は、私たちが提案するTacMAEがゼロショット転送で71.4%、微調整後85.8%という高い認識精度を達成できることを示しています。これは、マスクモデリングを使用しない場合の結果よりも15.2%、8.2%高くなります。
。
YCB オブジェクトに関する広範な実験は、私たちが提案した方法の知識の伝達可能性と、触覚探索の効率を向上させる可能性を実証しています。

要約(オリジナル)

The missing signal caused by the objects being occluded or an unstable sensor is a common challenge during data collection. Such missing signals will adversely affect the results obtained from the data, and this issue is observed more frequently in robotic tactile perception. In tactile perception, due to the limited working space and the dynamic environment, the contact between the tactile sensor and the object is frequently insufficient and unstable, which causes the partial loss of signals, thus leading to incomplete tactile data. The tactile data will therefore contain fewer tactile cues with low information density. In this paper, we propose a tactile representation learning method, named TacMAE, based on Masked Autoencoder to address the problem of incomplete tactile data in tactile perception. In our framework, a portion of the tactile image is masked out to simulate the missing contact region. By reconstructing the missing signals in the tactile image, the trained model can achieve a high-level understanding of surface geometry and tactile properties from limited tactile cues. The experimental results of tactile texture recognition show that our proposed TacMAE can achieve a high recognition accuracy of 71.4% in the zero-shot transfer and 85.8% after fine-tuning, which are 15.2% and 8.2% higher than the results without using masked modeling. The extensive experiments on YCB objects demonstrate the knowledge transferability of our proposed method and the potential to improve efficiency in tactile exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google