A Non-Anatomical Graph Structure for isolated hand gesture separation in continuous gesture sequences

要約

連続ハンドジェスチャ認識（CHGR）は、過去数十年の間に研究者によって広く研究されてきました。
最近、連続ジェスチャビデオでの孤立したジェスチャの境界検出の課題に対処するための1つのモデルが提示されました[17]。
モデルのパフォーマンスを向上させ、[17]で提示されたモデルの手作りの特徴抽出器を置き換えるために、GCNモデルを提案し、スタックされたBi-LSTMおよびAttentionモジュールと組み合わせて、ビデオストリームの時間情報をプッシュします。
スケルトンモダリティのGCNモデルのブレークスルーを考慮して、3Dハンドスケルトン機能を強化する2層GCNモデルを提案します。
最後に、分離された各ジェスチャのクラス確率は、[17]から借用した後処理モジュールに送られます。
さらに、解剖学的グラフ構造をいくつかの非解剖学的グラフ構造に置き換えます。
連続ジェスチャシーケンスと対応する分離ジェスチャの両方を含む大規模なデータセットがないため、動的ハンドジェスチャ認識（DHGR）、RKS-PERSIANSIGN、およびASLVIDの3つの公開データセットが評価に使用されます。
実験結果は、連続ジェスチャシーケンスにおける孤立したジェスチャ境界検出を処理する上で提案されたモデルの優位性を示しています

要約(オリジナル)

Continuous Hand Gesture Recognition (CHGR) has been extensively studied by researchers in the last few decades. Recently, one model has been presented to deal with the challenge of the boundary detection of isolated gestures in a continuous gesture video [17]. To enhance the model performance and also replace the handcrafted feature extractor in the presented model in [17], we propose a GCN model and combine it with the stacked Bi-LSTM and Attention modules to push the temporal information in the video stream. Considering the breakthroughs of GCN models for skeleton modality, we propose a two-layer GCN model to empower the 3D hand skeleton features. Finally, the class probabilities of each isolated gesture are fed to the post-processing module, borrowed from [17]. Furthermore, we replace the anatomical graph structure with some non-anatomical graph structures. Due to the lack of a large dataset, including both the continuous gesture sequences and the corresponding isolated gestures, three public datasets in Dynamic Hand Gesture Recognition (DHGR), RKS-PERSIANSIGN, and ASLVID, are used for evaluation. Experimental results show the superiority of the proposed model in dealing with isolated gesture boundaries detection in continuous gesture sequences

arxiv情報

提供元, 利用サービス

arxiv.jp, Google