Audio-based Roughness Sensing and Tactile Feedback for Haptic Perception in Telepresence

要約

触覚知覚は、ロボットの没入型遠隔操作、特に操作タスクを達成するために非常に重要です。
表面粗さの検出と表示が可能な、低コストの触覚センシングおよびレンダリングシステムを提案します。
ロボットの指先が対象面上を移動すると、2 つのマイクがそれぞれ指先と空気を介して直接結合された音を捕捉します。
学習ベースの検出システムはデータをリアルタイムで分析し、高い時間分解能と低い遅延の両方で粗さの推定値を提供します。
最後に、音声ベースの振動アクチュエータが結果をオペレータに表示します。
私たちは、実験室での実験と、ANA Avatar XPRIZE コンテストの決勝戦での優勝作品を通じて、システムの有効性を実証しました。そこでは、追加の視覚フィードバックがなくても、簡単に訓練を受けた審査員が粗さに基づいた選択タスクを解決しました。
結果の再現性を可能にするために、トレーニングと評価に使用されるデータセットをトレーニング済みのモデルとともに公開します。

要約(オリジナル)

Haptic perception is highly important for immersive teleoperation of robots, especially for accomplishing manipulation tasks. We propose a low-cost haptic sensing and rendering system, which is capable of detecting and displaying surface roughness. As the robot fingertip moves across a surface of interest, two microphones capture sound coupled directly through the fingertip and through the air, respectively. A learning-based detector system analyzes the data in real time and gives roughness estimates with both high temporal resolution and low latency. Finally, an audio-based vibrational actuator displays the result to the human operator. We demonstrate the effectiveness of our system through lab experiments and our winning entry in the ANA Avatar XPRIZE competition finals, where briefly trained judges solved a roughness-based selection task even without additional vision feedback. We publish our dataset used for training and evaluation together with our trained models to enable reproducibility of results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google