Audio-based Roughness Sensing and Tactile Feedback for Haptic Perception in Telepresence

要約

触覚認識は、ロボットの没入型遠隔操作、特に操作タスクを達成するために非常に重要です。
表面粗さを検出して表示できる低コストの触覚センシングおよびレンダリングシステムを提案します。
ロボットの指先が対象の表面を横切ると、2 つのマイクがそれぞれ指先と空気を介して直接結合された音をキャプチャします。
学習ベースの検出器システムは、データをリアルタイムで分析し、高い時間分解能と低遅延の両方で粗さの推定値を提供します。
最後に、音声ベースの触覚アクチュエーターが結果を人間のオペレーターに表示します。
私たちは実験を通じてシステムの有効性を実証し、ANA アバター XPRIZE コンテストの決勝戦で優勝作品を提出しました。このコンテストでは、追加の視覚フィードバックがなくても、公平な審査員がラフネスに基づく選択タスクを解決しました。
再現性を可能にするために、トレーニングと評価に使用されるデータセットをトレーニング済みモデルと一緒に公開します。

要約(オリジナル)

Haptic perception is incredibly important for immersive teleoperation of robots, especially for accomplishing manipulation tasks. We propose a low-cost haptic sensing and rendering system, which is capable of detecting and displaying surface roughness. As the robot fingertip moves across a surface of interest, two microphones capture sound coupled directly through the fingertip and through the air, respectively. A learning-based detector system analyzes the data in real-time and gives roughness estimates with both high temporal resolution and low latency. Finally, an audio-based haptic actuator displays the result to the human operator. We demonstrate the effectiveness of our system through experiments and our winning entry in the ANA Avatar XPRIZE competition finals, where impartial judges solved a roughness-based selection task even without additional vision feedback. We publish our dataset used for training and evaluation together with our trained models to enable reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google