Improving Continuous Sign Language Recognition with Consistency Constraints and Signer Removal

要約

ほとんどの深層学習ベースの連続手話認識 (CSLR) モデルは、ビジュアル モジュール、シーケンシャル モジュール、アライメント モジュールで構成される同様のバックボーンを共有しています。
ただし、トレーニング サンプルが限られているため、コネクショニストの一時的な分類損失では、そのような CSLR バックボーンを十分にトレーニングできない可能性があります。
この作業では、CSLR バックボーンを強化する 3 つの補助タスクを提案します。
最初のタスクは、一貫性の観点から、不十分なトレーニングの問題に敏感な視覚モジュールを強化します。
具体的には、手話の情報は主に手話者の顔の表情と手の動きに含まれているため、視覚モジュールが有益な領域、つまり空間的注意の一貫性に焦点を当てるように強制するために、キーポイントガイド付き空間的注意モジュールが開発されました。
次に、ビジュアル モジュールとシーケンシャル モジュールの両方の出力機能が同じセンテンスを表していることに気付き、バックボーンの機能をより有効に活用するために、ビジュアル モジュールとシーケンシャル モジュールの間にセンテンス埋め込みの一貫性の制約を課して、両方の機能の表現力を高めます。
上記の補助タスクでトレーニングされた CSLR モデルを、一貫性が強化された CSLR と呼びます。これは、トレーニングとテストの両方ですべての署名者が現れる署名者依存のデータセットで適切に機能します。
署名者に依存しない設定に対してより堅牢にするために、機能のもつれの解消に基づく署名者削除モジュールがさらに提案され、バックボーンから署名者情報が削除されます。
これらの補助タスクの有効性を検証するために、広範なアブレーション研究が行われています。
さらに驚くべきことに、トランスフォーマー ベースのバックボーンを使用して、当社のモデルは 5 つのベンチマーク、PHOENIX-2014、PHOENIX-2014-T、PHOENIX-2014-SI、CSL、および CSL-Daily で最先端または競争力のあるパフォーマンスを達成しています。

要約(オリジナル)

Most deep-learning-based continuous sign language recognition (CSLR) models share a similar backbone consisting of a visual module, a sequential module, and an alignment module. However, due to limited training samples, a connectionist temporal classification loss may not train such CSLR backbones sufficiently. In this work, we propose three auxiliary tasks to enhance the CSLR backbones. The first task enhances the visual module, which is sensitive to the insufficient training problem, from the perspective of consistency. Specifically, since the information of sign languages is mainly included in signers’ facial expressions and hand movements, a keypoint-guided spatial attention module is developed to enforce the visual module to focus on informative regions, i.e., spatial attention consistency. Second, noticing that both the output features of the visual and sequential modules represent the same sentence, to better exploit the backbone’s power, a sentence embedding consistency constraint is imposed between the visual and sequential modules to enhance the representation power of both features. We name the CSLR model trained with the above auxiliary tasks as consistency-enhanced CSLR, which performs well on signer-dependent datasets in which all signers appear during both training and testing. To make it more robust for the signer-independent setting, a signer removal module based on feature disentanglement is further proposed to remove signer information from the backbone. Extensive ablation studies are conducted to validate the effectiveness of these auxiliary tasks. More remarkably, with a transformer-based backbone, our model achieves state-of-the-art or competitive performance on five benchmarks, PHOENIX-2014, PHOENIX-2014-T, PHOENIX-2014-SI, CSL, and CSL-Daily.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google