Fine-tuning of sign language recognition models: a technical report

要約

手話認識 (SLR) は、手話が手のジェスチャー、体の姿勢、さらには顔の表情の高速で複雑な動きで実行されるため、不可欠でありながら困難なタスクです。
%Skeleton Aware マルチモーダル手話認識 この作業では、他の手話からのデータセットの微調整が手話認識の品質の向上にどのように役立つか、および GPU を使用せずに手話認識がリアルタイムで可能かどうかという 2 つの質問の調査に焦点を当てました。
モデルの検証には、3 つの異なる言語データセット (アメリカ手話 WLASL、トルコ語 – AUTSL、ロシア語 – RSL) が使用されています。
このシステムの平均速度は、1 秒あたり 3 回の予測に達しており、リアルタイム シナリオの要件を満たしています。
このモデル (プロトタイプ) は、音声または聴覚障害者がインターネットを介して他の人と会話するのに役立ちます。
また、別の手話でのモデルの追加トレーニングが認識の質にどのように影響するかを調査しました。
結果は、別の手話のデータでモデルをさらにトレーニングすると、ほとんどの場合、ジェスチャー認識の品質が向上することを示しています。
また、モデル トレーニング実験の再現、モデルの ONNX 形式への変換、およびリアルタイム ジェスチャ認識の推論のためのコードも提供します。

要約(オリジナル)

Sign Language Recognition (SLR) is an essential yet challenging task since sign language is performed with the fast and complex movement of hand gestures, body posture, and even facial expressions. %Skeleton Aware Multi-modal Sign Language Recognition In this work, we focused on investigating two questions: how fine-tuning on datasets from other sign languages helps improve sign recognition quality, and whether sign recognition is possible in real-time without using GPU. Three different languages datasets (American sign language WLASL, Turkish – AUTSL, Russian – RSL) have been used to validate the models. The average speed of this system has reached 3 predictions per second, which meets the requirements for the real-time scenario. This model (prototype) will benefit speech or hearing impaired people talk with other trough internet. We also investigated how the additional training of the model in another sign language affects the quality of recognition. The results show that further training of the model on the data of another sign language almost always leads to an improvement in the quality of gesture recognition. We also provide code for reproducing model training experiments, converting models to ONNX format, and inference for real-time gesture recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google