Handshape recognition for Argentinian Sign Language using ProbSom

要約

自動手話認識は、人間とコンピューターの対話および機械学習の分野における重要なトピックです。
一方で、ビデオ処理、画像処理、インテリジェント システム、言語学などのさまざまな知識領域の介入を必要とする複雑な課題を引き起こします。
一方で、手話の強力な認識は、翻訳プロセスや聴覚障害者の統合に役立つ可能性があります。
この論文は 2 つの主な貢献を提供します。1 つは、これまでほとんど議論されていないトピックである、アルゼンチン手話 (LSA) の手形のデータベースの作成です。
2 つ目は、ProbSom と呼ばれる自己組織化マップの教師あり適応を使用した、画像処理、記述子の抽出、およびその後の手形状分類のための技術です。
この技術は、サポート ベクター マシン (SVM)、ランダム フォレスト、ニューラル ネットワークなどの他の最新技術と比較されます。
構築されたデータベースには、16 の LSA ハンドシェイプを含む 800 枚の画像が含まれており、アルゼンチンの標識の包括的なデータベースの構築に向けた第一歩となります。
提案された記述子を使用した ProbSom ベースのニューラル分類器は、90% を超える精度を達成しました。

要約(オリジナル)

Automatic sign language recognition is an important topic within the areas of human-computer interaction and machine learning. On the one hand, it poses a complex challenge that requires the intervention of various knowledge areas, such as video processing, image processing, intelligent systems and linguistics. On the other hand, robust recognition of sign language could assist in the translation process and the integration of hearing-impaired people. This paper offers two main contributions: first, the creation of a database of handshapes for the Argentinian Sign Language (LSA), which is a topic that has barely been discussed so far. Secondly, a technique for image processing, descriptor extraction and subsequent handshape classification using a supervised adaptation of self-organizing maps that is called ProbSom. This technique is compared to others in the state of the art, such as Support Vector Machines (SVM), Random Forests, and Neural Networks. The database that was built contains 800 images with 16 LSA handshapes, and is a first step towards building a comprehensive database of Argentinian signs. The ProbSom-based neural classifier, using the proposed descriptor, achieved an accuracy rate above 90%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google