Indian Sign Language Recognition Using Mediapipe Holistic

要約

タイトル「Mediapipe Holisticを使用したインドの手話認識」

要約：
– 聴覚障害者は日々のコミュニケーションに大きな障害を抱えている。
– テキストや音声に変換できる手話認識技術は、聴覚障害者と聴覚のある人とのコミュニケーションを円滑にするために役立つ。
– インドの手話をテキストや音声に変換できる堅牢なシステムを開発し、CNNモデルとLSTMモデルを比較した。
– 静止した手話やジェスチャー手話の識別には堅牢なモデルが必要である。
– CNNモデルは静止した手話の文字や文字を認識するのに適していることがわかった。
– 一方で、ジェスチャー手話のフレーズや文章については、手や顔、ポーズを監視することでLSTMモデルよりも優れたパフォーマンスを発揮する。
– テキストから手話への変換は、聴覚障害者または耳が遠い人々のコミュニケーション能力を向上させるために必要である。

キーワード：聴覚障害者、DHH、インドの手話、CNN、LSTM、静止した手話とジェスチャー手話、テキストから手話への変換モデル、MediaPipe Holistic、手話認識、SLR、SLT

要約(オリジナル)

Deaf individuals confront significant communication obstacles on a daily basis. Their inability to hear makes it difficult for them to communicate with those who do not understand sign language. Moreover, it presents difficulties in educational, occupational, and social contexts. By providing alternative communication channels, technology can play a crucial role in overcoming these obstacles. One such technology that can facilitate communication between deaf and hearing individuals is sign language recognition. We will create a robust system for sign language recognition in order to convert Indian Sign Language to text or speech. We will evaluate the proposed system and compare CNN and LSTM models. Since there are both static and gesture sign languages, a robust model is required to distinguish between them. In this study, we discovered that a CNN model captures letters and characters for recognition of static sign language better than an LSTM model, but it outperforms CNN by monitoring hands, faces, and pose in gesture sign language phrases and sentences. The creation of a text-to-sign language paradigm is essential since it will enhance the sign language-dependent deaf and hard-of-hearing population’s communication skills. Even though the sign-to-text translation is just one side of communication, not all deaf or hard-of-hearing people are proficient in reading or writing text. Some may have difficulty comprehending written language due to educational or literacy issues. Therefore, a text-to-sign language paradigm would allow them to comprehend text-based information and participate in a variety of social, educational, and professional settings. Keywords: deaf and hard-of-hearing, DHH, Indian sign language, CNN, LSTM, static and gesture sign languages, text-to-sign language model, MediaPipe Holistic, sign language recognition, SLR, SLT

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI