Multimodal Zero-Shot Learning for Tactile Texture Recognition

要約

触覚センシングは、ロボットの材料認識においてかけがえのない役割を果たします。
これにより、ロボットは、特に繊維などの材料の局所的な形状やテクスチャなどの材料特性を区別できるようになります。
しかし、ほとんどの触覚認識手法は、触られ、触覚データで学習された既知の素材のみを分類できますが、触覚データで学習されていない未知の素材は分類できません。
この問題を解決するために、我々は、触覚サンプルの訓練を必要とせずに、初めて触れたときに未知の素材を認識する触覚ゼロショット学習フレームワークを提案します。
視覚から触覚的な手がかりを提供する視覚的モダリティと、高レベルの特性を提供するセマンティック属性を組み合わせて、タッチされたクラスとタッチされていないクラスの間のギャップを埋めます。
生成モデルは、対応する視覚画像と意味的埋め込みに従って触覚特徴を合成するように学習され、その後、ゼロショット認識のために、未タッチの素材の合成触覚特徴を使用して分類器をトレーニングできます。
広範な実験により、私たちが提案したマルチモーダル生成モデルが、これまで触れられていないマテリアルの分類において 83.06% という高い認識精度を達成できることが実証されました。
ロボット実験のデモとデータセットは、https://sites.google.com/view/multimodalzsl で入手できます。

要約(オリジナル)

Tactile sensing plays an irreplaceable role in robotic material recognition. It enables robots to distinguish material properties such as their local geometry and textures, especially for materials like textiles. However, most tactile recognition methods can only classify known materials that have been touched and trained with tactile data, yet cannot classify unknown materials that are not trained with tactile data. To solve this problem, we propose a tactile zero-shot learning framework to recognise unknown materials when they are touched for the first time without requiring training tactile samples. The visual modality, providing tactile cues from sight, and semantic attributes, giving high-level characteristics, are combined together to bridge the gap between touched classes and untouched classes. A generative model is learnt to synthesise tactile features according to corresponding visual images and semantic embeddings, and then a classifier can be trained using the synthesised tactile features of untouched materials for zero-shot recognition. Extensive experiments demonstrate that our proposed multimodal generative model can achieve a high recognition accuracy of 83.06% in classifying materials that were not touched before. The robotic experiment demo and the dataset are available at https://sites.google.com/view/multimodalzsl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google