Sign Language to Text Conversion in Real Time using Transfer Learning

要約

世界の聴覚障害者は、コミュニケーションにおいて多くの障害に直面しており、人の言っていることを理解するために通訳者を必要としています。
絶え間ない科学的研究が行われており、既存のモデルには正確な予測を行う能力がありません。
そのため、ASL、つまり入力として ASL の形式でアクションを実行し、それをテキストに変換するアメリカ手話でトレーニングされたディープ ラーニング モデルを提案します。
変換を実現するために、VGG16 アーキテクチャに基づく畳み込みニューラル ネットワーク モデルと転移学習モデルが使用されます。
CNN の 94% から転移学習の 98.7% に精度が向上し、5% の向上が見られました。
深層学習モデルを統合したアプリケーションも構築されています。

要約(オリジナル)

The people in the world who are hearing impaired face many obstacles in communication and require an interpreter to comprehend what a person is saying. There has been constant scientific research and the existing models lack the ability to make accurate predictions. So we propose a deep learning model trained on ASL i.e. American Sign Language which will take actions in the form of ASL as input and translate it into text. To achieve the translation a Convolution Neural Network model and a transfer learning model based on the VGG16 architecture are used. There has been an improvement in accuracy from 94% of CNN to 98.7% of Transfer Learning, an improvement of 5%. An application with the deep learning model integrated has also been built.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google