Mediapipe and CNNs for Real-Time ASL Gesture Recognition

要約

この研究論文では、最新のコンピューター ビジョンと機械学習のアプローチを採用した、アメリカ手話 (ASL) の動きを識別するためのリアルタイム システムについて説明します。
提案された方法では、特徴抽出に Mediapipe ライブラリを利用し、ASL ジェスチャ分類に畳み込みニューラル ネットワーク (CNN) を利用します。
テスト結果は、提案されたシステムがすべての ASL アルファベットを 99.95% の精度で検出できることを示し、聴覚障害を持つ人々のための通信デバイスでの使用の可能性を示しています。
提案されたアプローチは、同様の手の動きを伴う追加の手話にも適用でき、難聴を持つ人々の生活の質を向上させる可能性があります。
全体として、この研究はリアルタイム手話認識に Mediapipe と CNN を使用することの有効性を実証し、コンピューター ビジョンと機械学習の分野に大きく貢献します。

要約(オリジナル)

This research paper describes a realtime system for identifying American Sign Language (ASL) movements that employs modern computer vision and machine learning approaches. The suggested method makes use of the Mediapipe library for feature extraction and a Convolutional Neural Network (CNN) for ASL gesture classification. The testing results show that the suggested system can detect all ASL alphabets with an accuracy of 99.95%, indicating its potential for use in communication devices for people with hearing impairments. The proposed approach can also be applied to additional sign languages with similar hand motions, potentially increasing the quality of life for people with hearing loss. Overall, the study demonstrates the effectiveness of using Mediapipe and CNN for real-time sign language recognition, making a significant contribution to the field of computer vision and machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google