Real-Time Hand Gesture Recognition: Integrating Skeleton-Based Data Fusion and Multi-Stream CNN

要約

この研究は、現実世界のさまざまなコンテキストにわたる知覚コンピューティングに不可欠なハンド ジェスチャ認識 (HGR) に焦点を当てています。
HGR ドメインの主な課題は、人間の手の形態に固有の個人差に対処することにあります。
この課題に取り組むために、データレベルの融合と Ensemble Tuner マルチストリーム CNN アーキテクチャを組み合わせた革新的な HGR フレームワークを導入します。
このアプローチは、スケルトン モダリティからの時空間ジェスチャ情報を RGB 画像に効果的にエンコードすることで、ノイズを最小限に抑えながら意味論的なジェスチャの理解を向上させます。
当社のフレームワークはリアルタイムで動作し、SHREC2017、DHG1428、FPHA、LMDHG、CNR などのベンチマーク データセットで競争力のあるパフォーマンスを維持しながら、ハードウェア要件と計算の複雑さを大幅に軽減します。
HGR のこの改善は堅牢性を実証し、リソースが限られたデバイスを活用してヒューマン マシン インタラクションやアンビエント インテリジェンスを実現する実用的なリアルタイム アプリケーションへの道を開きます。

要約(オリジナル)

This study focuses on Hand Gesture Recognition (HGR), which is vital for perceptual computing across various real-world contexts. The primary challenge in the HGR domain lies in dealing with the individual variations inherent in human hand morphology. To tackle this challenge, we introduce an innovative HGR framework that combines data-level fusion and an Ensemble Tuner Multi-stream CNN architecture. This approach effectively encodes spatiotemporal gesture information from the skeleton modality into RGB images, thereby minimizing noise while improving semantic gesture comprehension. Our framework operates in real-time, significantly reducing hardware requirements and computational complexity while maintaining competitive performance on benchmark datasets such as SHREC2017, DHG1428, FPHA, LMDHG and CNR. This improvement in HGR demonstrates robustness and paves the way for practical, real-time applications that leverage resource-limited devices for human-machine interaction and ambient intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google