DipMe: Haptic Recognition of Granular Media for Tangible Interactive Applications

要約

有形のユーザー インターフェイスは、硬いオブジェクトや柔らかいオブジェクトと自然に相互作用する際に威力を発揮しますが、ユーザーは相互作用媒体としてさまざまな種類の粒状材料を便利に使用できません。
DipMe は、粒状メディアの種類をリアルタイムで認識するスマート デバイスとして紹介され、物理世界の粒状マテリアルとさまざまな仮想コンテンツを接続するために使用できます。
ビジョンベースのソリューションの他に、デバイスのディップ操作を提案し、触覚信号を利用してさまざまな種類の粒状物質を認識します。
最新の機械学習ツールを使用すると、さまざまな粒状メディアからの触覚信号が DipMe によって区別できることがわかりました。
オンライン粒状物体認識を使用して、いくつかの有形対話型アプリケーションを構築し、粒状物質の認識における DipMe の効果と、粒状物体を新しいメディアとして使用する有形ユーザー インターフェイスの開発におけるその可能性を実証します。

要約(オリジナル)

While tangible user interface has shown its power in naturally interacting with rigid or soft objects, users cannot conveniently use different types of granular materials as the interaction media. We introduce DipMe as a smart device to recognize the types of granular media in real time, which can be used to connect the granular materials in the physical world with various virtual content. Other than vision-based solutions, we propose a dip operation of our device and exploit the haptic signals to recognize different types of granular materials. With modern machine learning tools, we find the haptic signals from different granular media are distinguishable by DipMe. With the online granular object recognition, we build several tangible interactive applications, demonstrating the effects of DipMe in perceiving granular materials and its potential in developing a tangible user interface with granular objects as the new media.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google