Concurrent Haptic, Audio, and Visual Data Set During Bare Finger Interaction with Textured Surfaces

要約

知覚プロセスは多くの場合、マルチモーダルです。
これは触覚の場合です。
視覚信号と触覚信号のデータセットは、特にテクスチャーのある表面の探索に関しては、これまでに編集されてきました。
これらのデータ セットは、自然および人工の知覚研究で使用され、機械学習研究のためのトレーニング データ セットを提供することを目的としていました。
これらのデータセットは通常、剛性プローブまたは人工ロボットフィンガーを使用して取得されます。
ここでは、人間の指がテクスチャーのある表面を探索したときに取得される視覚、聴覚、および触覚信号を収集しました。
機械学習分類手法を介してデータセットを評価しました。
興味深いことに、触覚分類が約 80% である場合、マルチモーダル分類パフォーマンスは 97% に達する可能性があります。

要約(オリジナル)

Perceptual processes are frequently multi-modal. This is the case of haptic perception. Data sets of visual and haptic sensory signals have been compiled in the past, especially when it comes to the exploration of textured surfaces. These data sets were intended to be used in natural and artificial perception studies and to provide training data sets for machine learning research. These data sets were typically acquired with rigid probes or artificial robotic fingers. Here, we collected visual, auditory, and haptic signals acquired when a human finger explored textured surfaces. We assessed the data set via machine learning classification techniques. Interestingly, multi-modal classification performance could reach 97% when haptic classification was around 80%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google