A Transformer Model for Boundary Detection in Continuous Sign Language

要約

近年、手話言語認識 (SLR)、特に分離手話認識 (ISLR) に比べて複雑さが増す連続手話認識 (CSLR) の複雑な領域が研究者から大きな注目を集めています。
CSLR における顕著な課題の 1 つは、連続ビデオ ストリーム内の孤立した標識の境界を正確に検出することに関係しています。
さらに、既存のモデルの手作りの機能に依存しているため、最適な精度を達成することが困難になります。
これらの課題を克服するために、Transformer ベースのモデルを利用した新しいアプローチを提案します。
従来のモデルとは異なり、当社のアプローチは手作りの機能の必要性を排除しながら精度を高めることに重点を置いています。
Transformer モデルは ISLR と CSLR の両方に採用されています。
トレーニング プロセスには、孤立したサイン ビデオの使用が含まれます。入力ビデオから抽出された手のキーポイントの特徴は、Transformer モデルを使用して強化されます。
その後、これらの強化された特徴は最終分類層に転送されます。
トレーニングされたモデルは、後処理手法と組み合わせて適用され、連続標識ビデオ内で孤立した標識境界を検出します。
私たちのモデルの評価は、連続的な兆候とそれに対応する孤立した兆候の両方を含む 2 つの異なるデータセットに対して行われ、有望な結果が示されています。

要約(オリジナル)

Sign Language Recognition (SLR) has garnered significant attention from researchers in recent years, particularly the intricate domain of Continuous Sign Language Recognition (CSLR), which presents heightened complexity compared to Isolated Sign Language Recognition (ISLR). One of the prominent challenges in CSLR pertains to accurately detecting the boundaries of isolated signs within a continuous video stream. Additionally, the reliance on handcrafted features in existing models poses a challenge to achieving optimal accuracy. To surmount these challenges, we propose a novel approach utilizing a Transformer-based model. Unlike traditional models, our approach focuses on enhancing accuracy while eliminating the need for handcrafted features. The Transformer model is employed for both ISLR and CSLR. The training process involves using isolated sign videos, where hand keypoint features extracted from the input video are enriched using the Transformer model. Subsequently, these enriched features are forwarded to the final classification layer. The trained model, coupled with a post-processing method, is then applied to detect isolated sign boundaries within continuous sign videos. The evaluation of our model is conducted on two distinct datasets, including both continuous signs and their corresponding isolated signs, demonstrates promising results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google