Cross-Attention Based Influence Model for Manual and Nonmanual Sign Language Analysis

要約

アメリカ手話 (ASL) のフレーズの完全な意味を提供するには、手動マーカー (手の使用に関連する) と、顔の表情や口の合図などの非手動マーカー (NMM) の両方が重要です。
手話から話し言葉や書き言葉の理解へと発展させる努力がなされてきましたが、そのほとんどは主に手動機能のみに焦点を当てています。
この研究では、高度なニューラル機械翻訳手法を使用して、顔の表情が手話フレーズの理解にどの程度貢献しているかを調査し、報告します。
我々は、2 つのストリーム エンコーダで構成される手話翻訳アーキテクチャを提案します。1 つのエンコーダは顔を処理し、もう 1 つは上半身 (手を使って) を処理します。
出力に対する各入力モダリティの影響を定量化するのに役立つ、新しい並列クロスアテンション デコード メカニズムを提案します。
エンコーダからの 2 つのストリームは、デコーダ内の異なるアテンション スタックに同時に送信されます。
平行したクロスアテンションの重みの特性を調べることで、翻訳タスク中に体や手の特徴と比較した顔のマーカーの重要性を分析できるようになります。

要約(オリジナル)

Both manual (relating to the use of hands) and non-manual markers (NMM), such as facial expressions or mouthing cues, are important for providing the complete meaning of phrases in American Sign Language (ASL). Efforts have been made in advancing sign language to spoken/written language understanding, but most of these have primarily focused on manual features only. In this work, using advanced neural machine translation methods, we examine and report on the extent to which facial expressions contribute to understanding sign language phrases. We present a sign language translation architecture consisting of two-stream encoders, with one encoder handling the face and the other handling the upper body (with hands). We propose a new parallel cross-attention decoding mechanism that is useful for quantifying the influence of each input modality on the output. The two streams from the encoder are directed simultaneously to different attention stacks in the decoder. Examining the properties of the parallel cross-attention weights allows us to analyze the importance of facial markers compared to body and hand features during a translating task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google