Development and Evaluation of a Learning-based Model for Real-time Haptic Texture Rendering

要約

現在の仮想現実 (VR) 環境には、表面上で横方向に移動する際の質感の感覚など、人間が現実のインタラクション中に経験する豊富な触覚信号が欠けています。
現実的な触覚テクスチャを VR 環境に追加するには、ユーザーのインタラクションのバリエーションと世界のさまざまな既存のテクスチャを一般化するモデルが必要です。
現在の触覚テクスチャ レンダリングの手法は存在しますが、通常はテクスチャごとに 1 つのモデルを開発するため、スケーラビリティが低くなります。
我々は、触覚テクスチャレンダリングのための深層学習ベースのアクション条件モデルを提示し、人間の複数のパートからなるユーザー研究を通じて、現実的なテクスチャ振動をレンダリングする際の知覚パフォーマンスを評価します。
このモデルはすべてのマテリアルで統一されており、視覚ベースの触覚センサー (GelSight) からのデータを使用して、ユーザーのアクションに応じて適切な表面をリアルタイムでレンダリングします。
テクスチャのレンダリングには、3D Systems Touch デバイスに接続された高帯域幅の振動触覚トランスデューサーを使用します。
当社のユーザー調査の結果は、当社の学習ベースの方法が、テクスチャごとに個別のモデルを学習する必要がなく、最先端の方法と同等以上の品質で高周波テクスチャ レンダリングを作成できることを示しています。
さらに、この方法が、表面の単一の GelSight 画像を使用して、これまで見えなかったテクスチャをレンダリングできることを示します。

要約(オリジナル)

Current Virtual Reality (VR) environments lack the rich haptic signals that humans experience during real-life interactions, such as the sensation of texture during lateral movement on a surface. Adding realistic haptic textures to VR environments requires a model that generalizes to variations of a user’s interaction and to the wide variety of existing textures in the world. Current methodologies for haptic texture rendering exist, but they usually develop one model per texture, resulting in low scalability. We present a deep learning-based action-conditional model for haptic texture rendering and evaluate its perceptual performance in rendering realistic texture vibrations through a multi part human user study. This model is unified over all materials and uses data from a vision-based tactile sensor (GelSight) to render the appropriate surface conditioned on the user’s action in real time. For rendering texture, we use a high-bandwidth vibrotactile transducer attached to a 3D Systems Touch device. The result of our user study shows that our learning-based method creates high-frequency texture renderings with comparable or better quality than state-of-the-art methods without the need for learning a separate model per texture. Furthermore, we show that the method is capable of rendering previously unseen textures using a single GelSight image of their surface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google