LSA64: An Argentinian Sign Language Dataset

要約

自動手話認識は、人間とコンピューターの対話、コンピューター ビジョン、機械学習を含む研究分野です。
手話の強力な自動認識は、聴覚障害者に対する手話の教育だけでなく、翻訳プロセスや聴覚障害者の統合にも役立つ可能性があります。
手話は国や地域によって大きく異なり、構文や意味も書き言葉とは異なります。
自動手話認識技術は言語が異なってもほとんど同じですが、新しい言語の認識システムをトレーニングするには、その言語のデータセット全体が必要です。
この論文では、アルゼンチン手話 (LSA) からの 64 の手話のデータセットを紹介します。
LSA64 と呼ばれるこのデータセットには、10 人の被験者によって記録された 64 の異なる LSA 手話の 3,200 本のビデオが含まれており、特に手話認識やその他の機械学習タスクに合わせて調整された、アルゼンチンの手話の包括的な研究レベルのデータセットを構築するための第一歩となります。
サインを実行する被験者は、手の追跡とセグメンテーションの手順を容易にするために色付きの手袋を着用し、データセットの実験が特にサインの認識に集中できるようにしました。
また、標識の動き、位置、手の形の統計を計算した、データセットの前処理バージョンも提示します。

要約(オリジナル)

Automatic sign language recognition is a research area that encompasses human-computer interaction, computer vision and machine learning. Robust automatic recognition of sign language could assist in the translation process and the integration of hearing-impaired people, as well as the teaching of sign language to the hearing population. Sign languages differ significantly in different countries and even regions, and their syntax and semantics are different as well from those of written languages. While the techniques for automatic sign language recognition are mostly the same for different languages, training a recognition system for a new language requires having an entire dataset for that language. This paper presents a dataset of 64 signs from the Argentinian Sign Language (LSA). The dataset, called LSA64, contains 3200 videos of 64 different LSA signs recorded by 10 subjects, and is a first step towards building a comprehensive research-level dataset of Argentinian signs, specifically tailored to sign language recognition or other machine learning tasks. The subjects that performed the signs wore colored gloves to ease the hand tracking and segmentation steps, allowing experiments on the dataset to focus specifically on the recognition of signs. We also present a pre-processed version of the dataset, from which we computed statistics of movement, position and handshape of the signs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google