Toward Spatial Temporal Consistency of Joint Visual Tactile Perception in VR Applications

要約

VR テクノロジーの発展、特にメタバース概念の出現により、視覚と触覚の統合は、人間とマシンのインタラクションにおいて期待されるエクスペリエンスになりました。
したがって、VR アプリケーションにおける視覚情報と触覚情報の時空間的一貫性の実現は、この体験を実現するために必要な要素となっています。
最先端の振動触覚データセットには、通常、物体の表面をランダムに滑らせることで収集された時間レベルの振動触覚情報と、それに対応する素材/テクスチャの画像が含まれています。
しかし、信号取得に対応する位置・空間情報が欠如しているため、視覚・触覚データの時空間的整合を実現することが困難です。
したがって、本論文では、空間的および時間的一貫性を持って、さまざまな質感/材料の視覚信号および振動触覚信号を収集できる新しいデータ収集システムを開発します。
さらに、新しい取得システムによって生成されたデータセットを利用して、「V-Touching」と呼ばれる VR ベースのアプリケーションを開発します。これは、仮想空間内のオブジェクトの表面上をスライドするときに、ピクセルとタクセルの共同視覚触覚知覚を提供できます。
異なるテクスチャー/素材の明確な振動触覚フィードバックのある環境。
データとコードは \url{https://github.com/wmtlab/Pixel2Taxel} で入手できます。

要約(オリジナル)

With the development of VR technology, especially the emergence of the metaverse concept, the integration of visual and tactile perception has become an expected experience in human-machine interaction. Therefore, achieving spatial-temporal consistency of visual and tactile information in VR applications has become a necessary factor for realizing this experience. The state-of-the-art vibrotactile datasets generally contain temporal-level vibrotactile information collected by randomly sliding on the surface of an object, along with the corresponding image of the material/texture. However, they lack the position/spatial information that corresponds to the signal acquisition, making it difficult to achieve spatiotemporal alignment of visual-tactile data. Therefore, we develop a new data acquisition system in this paper which can collect visual and vibrotactile signals of different textures/materials with spatial and temporal consistency. In addition, we develop a VR-based application call ‘V-Touching’ by leveraging the dataset generated by the new acquisition system, which can provide pixel-to-taxel joint visual-tactile perception when sliding over the surface of objects in the virtual environment with distinct vibrotactile feedback of different textures/materials. Our data and code are available at \url{https://github.com/wmtlab/Pixel2Taxel}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google