BdSLW60: A Word-Level Bangla Sign Language Dataset

要約

手話による会話は、聴覚障害者にとって日常のコミュニケーションに不可欠な手段です。
しかし、バングラ手話 (BdSL) の研究は、主にデータセットの不足により、顕著な制限に直面しています。
BdSL (WL-BdSL) での単語レベルの標識の認識には、十分に注釈が付けられたデータセットの必要性、顔や手のランドマークからの標識ジェスチャの動的な性質の捕捉、適切な機械学習または深層学習ベースのモデルの開発など、多くの課題があります。
ビデオサンプルなど。
この論文では、制約のない自然な設定で BdSLW60 という名前の包括的な BdSL ワードレベル データセットを作成することで、これらの課題に対処します。これにより、位置的および時間的変動が可能になり、手話使用者が手の利きを自由に変更できるようになります。
このデータセットには 60 のバングラ手話が含まれており、手話専門家の監督のもと 18 人の手話者によって提供された 9,307 件のビデオ トライアルという大規模なものが含まれています。
データセットには厳密に注釈が付けられ、60 人のアノテーターによってクロスチェックが行われました。
また、ランドマークベースのサインジェスチャー認識のための、相対量子化ベースのキーフレームエンコーディング技術という独自のアプローチも導入しました。
最大 67.6% のテスト精度を持つサポート ベクター マシン (SVM) と最大 75.1% のテスト精度を持つアテンションベースの bi-LSTM を使用した BdSLW60 データセットのベンチマークを報告します。
データセットは https://www.kaggle.com/datasets/hasaniut/bdslw60 から入手でき、コードベースは https://github.com/hasanssl/BdSLW60_Code からアクセスできます。

要約(オリジナル)

Sign language discourse is an essential mode of daily communication for the deaf and hard-of-hearing people. However, research on Bangla Sign Language (BdSL) faces notable limitations, primarily due to the lack of datasets. Recognizing wordlevel signs in BdSL (WL-BdSL) presents a multitude of challenges, including the need for well-annotated datasets, capturing the dynamic nature of sign gestures from facial or hand landmarks, developing suitable machine learning or deep learning-based models with substantial video samples, and so on. In this paper, we address these challenges by creating a comprehensive BdSL word-level dataset named BdSLW60 in an unconstrained and natural setting, allowing positional and temporal variations and allowing sign users to change hand dominance freely. The dataset encompasses 60 Bangla sign words, with a significant scale of 9307 video trials provided by 18 signers under the supervision of a sign language professional. The dataset was rigorously annotated and cross-checked by 60 annotators. We also introduced a unique approach of a relative quantization-based key frame encoding technique for landmark based sign gesture recognition. We report the benchmarking of our BdSLW60 dataset using the Support Vector Machine (SVM) with testing accuracy up to 67.6% and an attention-based bi-LSTM with testing accuracy up to 75.1%. The dataset is available at https://www.kaggle.com/datasets/hasaniut/bdslw60 and the code base is accessible from https://github.com/hasanssl/BdSLW60_Code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google