x-RAGE: eXtended Reality — Action & Gesture Events Dataset

要約

メタバースの出現と近年のウェアラブル デバイスへの注目により、ジェスチャ ベースの人間とコンピュータのインタラクションが重要性を増しています。
VR/AR ヘッドセットやメガネのジェスチャ認識を可能にするために、自己中心的な視点、つまり一人称視点に焦点を当てたいくつかのデータセットが近年登場しました。
ただし、標準的なフレームベースのビジョンには、データ帯域幅要件と高速モーションをキャプチャする機能の制限があります。
これらの制限を克服するために、イベントベースのカメラなどの生物にインスピレーションを受けたアプローチは、魅力的な代替手段を提供します。
この研究では、XR 中心のジェスチャ認識のためのニューロモーフィックな低電力ソリューションを可能にする、初のイベント カメラ ベースの自己中心的なジェスチャ データセットを紹介します。
データセットは、URL: https://gitlab.com/NVM_IITD_Research/xrage で公開されています。

要約(オリジナル)

With the emergence of the Metaverse and focus on wearable devices in the recent years gesture based human-computer interaction has gained significance. To enable gesture recognition for VR/AR headsets and glasses several datasets focusing on egocentric i.e. first-person view have emerged in recent years. However, standard frame-based vision suffers from limitations in data bandwidth requirements as well as ability to capture fast motions. To overcome these limitation bio-inspired approaches such as event-based cameras present an attractive alternative. In this work, we present the first event-camera based egocentric gesture dataset for enabling neuromorphic, low-power solutions for XR-centric gesture recognition. The dataset has been made available publicly at the following URL: https://gitlab.com/NVM_IITD_Research/xrage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google