A multimodal gesture recognition dataset for desktop human-computer interaction

要約

ジェスチャ認識は、特にデスクトップ レベルのアプリケーションにおいて、自然で効率的な人間とコンピュータの対話テクノロジに不可欠なコンポーネントであり、人々の生産性を大幅に向上させることができます。
ただし、現在のジェスチャ認識コミュニティには、軽量のジェスチャ キャプチャ デバイスに適したデスクトップ レベル (トップビュー パースペクティブ) データセットがありません。
この研究では、GR4DHCI という名前のデータセットを確立しました。
このデータセットの特徴は、その固有の自然さ、直感的な特性、多様性です。
その主な目的は、デスクトップ レベルのポータブル アプリケーションの開発のための貴重なリソースとして機能することです。
GR4DHCI は、ステレオ IR と骨格モダリティの両方について、7,000 を超えるジェスチャ サンプルと合計 382,​​447 フレームで構成されています。
また、27 の異なる手の位置をデータセットに組み込むことで、デスクトップ操作中の手の位置のばらつきにも対処します。
GR4DHCI データセットに基づいて一連の実験研究を実施しました。その結果、この論文で提案したきめ細かい分類ブロックがモデルの認識精度を向上できることが実証されました。
この論文で紹介された私たちのデータセットと実験結果は、デスクトップレベルのジェスチャ認識研究の進歩を推進すると期待されています。

要約(オリジナル)

Gesture recognition is an indispensable component of natural and efficient human-computer interaction technology, particularly in desktop-level applications, where it can significantly enhance people’s productivity. However, the current gesture recognition community lacks a suitable desktop-level (top-view perspective) dataset for lightweight gesture capture devices. In this study, we have established a dataset named GR4DHCI. What distinguishes this dataset is its inherent naturalness, intuitive characteristics, and diversity. Its primary purpose is to serve as a valuable resource for the development of desktop-level portable applications. GR4DHCI comprises over 7,000 gesture samples and a total of 382,447 frames for both Stereo IR and skeletal modalities. We also address the variances in hand positioning during desktop interactions by incorporating 27 different hand positions into the dataset. Building upon the GR4DHCI dataset, we conducted a series of experimental studies, the results of which demonstrate that the fine-grained classification blocks proposed in this paper can enhance the model’s recognition accuracy. Our dataset and experimental findings presented in this paper are anticipated to propel advancements in desktop-level gesture recognition research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google